Top-p Sampling
Top-p örnekleme (Top-p Sampling) — Nucleus sampling olarak da bilinen, kümülatif olasılığı p eşiğine ulaşan en küçük token kümesinden örnekleme yöntemi.
Büyük Dil Modeli Bağlamı
Aday kümesi dağılımın belirsizliğine göre dinamik büyüyüp küçülebilir. Temperature ile birlikte kullanıldığında iki parametrenin etkileşimi değerlendirilmelidir.
Bağlam ve Çıkarım Sınırı
p değeri tek başına kalite ölçüsü değildir ve farklı modellerde aynı davranışı garanti etmez.
İlişkili LLM Kavramları
Değişken Aday Kümesi
Top-p sabit sayıda token seçmez. Token olasılıkları büyükten küçüğe sıralandığında, kümülatif olasılığı en az p yapan en küçük ön ek aday kümesini oluşturur. Bu nedenle aynı p değeri, dağılımın keskin olduğu bir adımda az; dağılımın yayvan olduğu bir adımda çok sayıda token bırakabilir. Bu özellik Top-k Sampling ile temel farktır: top-k aday sayısını, top-p ise kapsanan olasılık kütlesini sınırlar.
p bir doğruluk veya güven skoru değildir. Daha düşük bir eşik dağılımın kuyruğunu daha sert budar; ancak hangi cevabın doğru olduğunu belirlemez. Temperature önce olasılık dağılımının şeklini değiştirebildiği için iki ayar birlikte kullanıldığında etkileri bağımsız kabul edilmemelidir. Nucleus sampling'in bu dinamik aday kümesi yaklaşımı Holtzman ve arkadaşlarının çalışmasında tanımlanmıştır: özgün çalışma.