Top-k Sampling

Türkçe karşılığı: Top-k örneklemeAlan: Büyük Dil Modelleri

Top-k örnekleme (Top-k Sampling) — Her decoding adımında olasılığı en yüksek k token dışındaki adayları eleyip kalan dağılımdan örnekleme yöntemi.

Büyük Dil Modeli Bağlamı

Sabit aday sayısı runaway düşük olasılıklı token'ları azaltır; ancak dağılımın entropy'si adımlar arasında değiştiği için k'nın etkisi bağlama göre farklı olabilir.

Bağlam ve Çıkarım Sınırı

Top-k ile beam search aynı yöntem değildir; beam search sequence hipotezlerini deterministik/heuristic biçimde genişletir.

İlişkili LLM Kavramları

Doğrudan kaynak: Top-k Sampling için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.