Quantization

Türkçe karşılığı: NicemlemeAlan: Makine Öğrenmesi

Model ağırlıklarını, aktivasyonları veya vektörleri daha düşük hassasiyetli sayısal gösterime dönüştürerek bellek ve hesap maliyetini azaltma.

Makine Öğrenmesi Bağlamı

FP32'den BF16, FP16, INT8 veya daha düşük formatlara geçiş memory bandwidth ve accelerator throughput avantajı sağlayabilir. Calibration, per-channel scale ve quantization-aware training kalite kaybını etkiler.

Genelleme ve Ölçüm Sınırı

Quantization yalnız dosya boyutu küçültme değildir; kernel desteği, accumulator hassasiyeti ve outlier dağılımı gerçek hız kazancını belirler.

İlişkili Makine Öğrenmesi Kavramları

İlgili teknik yazı: Yapay Zeka: Felsefe, Kuram ve Uygulama.

Doğrudan kaynak: Quantization için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.

İlgili teknik yayınlar

Başlık veya özetinde bu kavrama doğrudan karşılık gelen yayınlar.

Varyans Tabanlı Renk Nicemleme

Varyans tabanlı renk nicemleme, RGBA uzayındaki dağılımı momentlerle ölçüp en fazla hata taşıyan kutuları bölerek sınırlı bir palet üretir.

FAISS ile Vektörel Aramada İndeks Mimarisi

Vektör benzerlik aramasında indeks seçimi yalnız hız kararı değildir. Recall, RAM, derleme süresi, update davranışı, quantization hatası ve CPU/GPU veri hareketi birlikte değerlendirilmelidir.

FPGA Üzerinde LLM Çıkarımı ve HLS

LLM çıkarım için FPGA kullanmak GPU'nun küçük bir kopyasını yapmak değildir. Quantization, memory bant genişliği, işlem hattı, on-chip buffer ve HLS dönüşümleri birlikte tasarlandığında enerji/gecikme dengesi değişebilir.