BF16
FP32 ile aynı 8 bit exponent genişliğini koruyup mantissa hassasiyetini azaltan 16 bit kayan nokta formatı.
Makine Öğrenmesi Bağlamı
Geniş dinamik aralık training ve inference sırasında overflow riskini FP16'ya kıyasla azaltabilir. Modern CPU/GPU hızlandırıcıları BF16 matmul için özel donanım sağlayabilir.
Genelleme ve Ölçüm Sınırı
BF16 her workload'da daha hızlı veya yeterince doğru değildir; donanım desteği, accumulation type ve model duyarlılığı ölçülmelidir.
İlişkili Makine Öğrenmesi Kavramları
- Quantization
- FP16
- INT8
- Mixed Precision