Top-k Sampling
Her decoding adımında olasılığı en yüksek k token dışındaki adayları eleyip kalan dağılımdan örnekleme yöntemi.
Teknik Bağlam
Sabit aday sayısı runaway düşük olasılıklı token'ları azaltır; ancak dağılımın entropy'si adımlar arasında değiştiği için k'nın etkisi bağlama göre farklı olabilir.
Sınırlar
Top-k ile beam search aynı yöntem değildir; beam search sequence hipotezlerini deterministik/heuristic biçimde genişletir.
İlgili Kavramlar
- Top-p Sampling
- Temperature
- Beam Search
- Logit