BF16
FP32 ile aynı 8 bit exponent genişliğini koruyup mantissa hassasiyetini azaltan 16 bit kayan nokta formatı.
Teknik Bağlam
Geniş dinamik aralık training ve inference sırasında overflow riskini FP16'ya kıyasla azaltabilir. Modern CPU/GPU hızlandırıcıları BF16 matmul için özel donanım sağlayabilir.
Sınırlar
BF16 her workload'da daha hızlı veya yeterince doğru değildir; donanım desteği, accumulation type ve model duyarlılığı ölçülmelidir.
İlgili Kavramlar
- Quantization
- FP16
- INT8
- Mixed Precision