Logit

Logit terimi iki yakın fakat farklı kullanım nedeniyle sık karıştırılır.

İstatistiksel Tanım

Bir olasılık p için logit dönüşümü:

logit(p) = ln(p / (1 - p))

şeklindedir. p/(1-p) odds değeridir; logit bunun doğal logaritmasını alarak (0,1) aralığındaki olasılığı tüm reel sayılar uzayına taşır. Lojistik regresyonda doğrusal model log-odds değerini modeller.

Makine Öğrenmesindeki Kullanım

Sinir ağlarında logits sözcüğü çoğu zaman softmax veya sigmoid uygulanmadan önceki ham çıktı skorlarını ifade eder. Bu skorların tek tek 0–1 aralığında olması veya toplamlarının 1 olması gerekmez.

Çok sınıflı sınıflandırmada softmax, logit vektörünü normalize edilmiş bir dağılıma dönüştürür. Dil modellerinde de token seçimi öncesindeki skorlar logits olarak adlandırılır; temperature veya top-k/top-p gibi decoding yöntemleri bu skorların seçim üzerindeki etkisini değiştirir.

Karıştırılmaması Gereken Nokta

Tek bir sinir ağı skoruna "logit" denmesi, o değerin mutlaka doğrudan ln(p/(1-p)) hesabıyla üretildiği anlamına gelmez. Terimin istatistiksel kökeni ile derin öğrenmedeki pratik kullanımı bağlama göre ayrılmalıdır.

İlgili: Softmax, Temperature, Yapay Zeka ve Yapay Sinir Ağları.

Lojistik Fonksiyonla Terslik İlişkisi

İstatistiksel logit ile logistic sigmoid birbirinin tersidir. x = logit(p) ise:

p = 1 / (1 + exp(-x))

elde edilir. Bu nedenle binary logistic regression'da doğrusal predictor reel sayı uzayında çalışırken sigmoid sonucu (0,1) aralığına taşır. Çok sınıflı ağlardaki "logits" kullanımı ise tek tek bu inverse dönüşümün uygulanmış olmasını gerektirmez; terim çoğu kütüphanede normalizasyon öncesi skor vektörünü adlandırır.

Bu ayrım loss fonksiyonu seçiminde de önemlidir. "Cross entropy with logits" türü API'ler softmax/sigmoid ve log hesabını sayısal olarak kararlı biçimde birleştirebilir; önceden olasılığa çevrilmiş değeri yeniden logit sanmak yanlış sonuç üretir. İlgili: Softmax.

Log-Odds ile İlişkisi

Bir olasılık p için logit, log(p / (1-p)) biçimindeki log-odds dönüşümüdür. Olasılık uzayındaki (0,1) aralığını gerçek sayılar doğrusu üzerine taşır. Logistic regression doğrusal tahmini bu uzayda kurar; sigmoid dönüşümü ise logit değerini yeniden olasılığa çevirir.