Softmax
Bir skor vektörünü toplamı bir olan pozitif ağırlık/olasılık dağılımına dönüştüren normalize edilmiş üstel fonksiyon.
Teknik Bağlam
Attention ağırlıkları ve sınıflandırma çıkışlarında yaygındır. Büyük logit değerlerinde numerik kararlılık için maximum subtraction gibi teknikler kullanılır.
Sınırlar
Softmax çıktısını kalibre edilmiş gerçek dünya olasılığı olarak yorumlamak her modelde doğru değildir.
İlgili Kavramlar
- Logit
- Attention
- Cross-Entropy
- Temperature