Logit
Bir modelin softmax veya başka normalization uygulanmadan önce ürettiği ham skor.
Teknik Bağlam
Dil modellerinde her token için logits decoding stratejisinin girdisini oluşturur. Temperature ve top-k/top-p gibi yöntemler logits/probability dağılımını değiştirerek çeşitlilik ile determinism arasında trade-off yaratır.
Sınırlar
Logit doğrudan olasılık değildir; normalization uygulanmadan 0-1 aralığında olması gerekmez.
İlgili Kavramlar
- Softmax
- Temperature
- Top-k Sampling
- Top-p Sampling