İstatistiksel Öğrenme ve Makine Öğrenmesi: Sınıflandırma, Regresyon ve Kümeleme

İstatistiksel öğrenme, gözlenen örneklerden bir ilişki, karar sınırı, olasılık dağılımı veya veri yapısı kestirmeye dayanır. Yapay zekânın kural tabanlı yaklaşımlarından farklı olarak bütün kararları önceden tek tek yazmak yerine, verideki düzenlilikleri bir model üzerinden ifade eder. Bu yaklaşımın matematiksel zemini Olasılık ve İstatistik ile kurulur; burada amaç o zeminin sınıflandırma, regresyon, kümeleme, boyut indirgeme ve anomali tespitine nasıl dönüştüğünü birlikte görmektir.

Ünite 1: İstatistiksel Öğrenmenin Temeli

Veri, model ve öğrenme

Bir öğrenme problemi en yalın biçimiyle gözlemler, özellikler ve hedefler üzerinden tanımlanır. Gözlem x, modele verilen özellik vektörünü; y ise varsa hedefi veya etiketi gösterir.

veri
↓
özellik temsili
↓
model ailesi
↓
amaç / kayıp fonksiyonu
↓
parametre kestirimi veya arama
↓
görülmemiş veri üzerinde tahmin

Öğrenmenin amacı eğitim örneklerini ezberlemek değil, örneklerin üretildiği sürece ilişkin yeterince kararlı bir düzeni yakalayıp yeni veriye genelleyebilmektir. Bu nedenle eğitim başarısı ile gerçek kullanım başarısı aynı ölçü değildir.

İstatistiksel çıkarım ve tahmin

Klasik istatistik çoğu zaman bir parametre, etki veya belirsizlik hakkında çıkarım yapmaya odaklanır. Makine öğrenmesinde ise ağırlık sıklıkla görülmemiş örnekler için doğru tahmin üretmeye kayar. İki alan keskin biçimde ayrılmaz; regresyon, Bayesçi kestirim, örnekleme, olabilirlik ve düzenlileştirme her iki tarafta da kullanılır.

Bir modelin iyi açıklama yapması onun her zaman iyi tahmin yapacağı; yüksek tahmin başarısı da modeldeki ilişkinin nedensel olduğu anlamına gelmez.

Parametrik ve parametrik olmayan yöntemler

Parametrik yöntemde modelin temel biçimi önceden seçilir ve sonlu sayıda parametre kestirilir. Doğrusal ve lojistik regresyon buna örnektir.

Parametrik olmayan yöntemlerde sabit ve küçük bir parametre kümesiyle sınırlı bir biçim varsayımı daha zayıftır. k-En Yakın Komşu, çekirdek yoğunluk kestirimi ve bazı ağaç yöntemleri bu grupta düşünülebilir. Parametrik olmayan, “varsayımsız” demek değildir; uzaklık, komşuluk, düzgünlük veya ağaç bölme ölçütü yine bir indüktif önyargıdır.

Üretici ve ayırt edici modeller

Üretici model ortak dağılımı veya sınıfa göre veri üretimini modellemeye çalışır:

p(x, y)
veya
p(x | y) p(y)

Naive Bayes bu bakışa yakındır.

Ayırt edici model doğrudan hedefi ya da karar sınırını modellemeye odaklanır:

p(y | x)
veya
f(x) -> y

Lojistik regresyon ve SVM bunun tipik örnekleridir.

Öğrenme türleri

• Denetimli öğrenme: x -> y eşleşmeleri bilinir; sınıflandırma ve regresyon temel görevlerdir.
• Denetimsiz öğrenme: hedef etiketi yoktur; kümeleme, yoğunluk kestirimi ve bazı boyut indirgeme yöntemleri yapıyı verinin içinden arar.
• Yarı denetimli öğrenme: az miktarda etiketli, çok miktarda etiketsiz veri birlikte kullanılır.
• Özdenetimli öğrenme: hedef, verinin kendi yapısından türetilir.
• Pekiştirmeli öğrenme: bir ajanın çevreyle etkileşiminden doğan ödül üzerinden politika öğrenilir; ayrıntısı bu notun kapsamından farklı bir karar problemi oluşturur.

Ünite 2: Veri Temsili, Ölçek ve Uzaklık

Veri matrisi

Bir veri kümesi çoğu zaman satırlarda gözlemler, sütunlarda özellikler olacak biçimde gösterilir:

X ∈ R^(n×p)

n gözlem sayısını, p özellik sayısını gösterir. Hedef değişken varsa y ayrı tutulur.

Kategorik bir değişken sayıyla kodlanmış olsa bile bu kodun aritmetik büyüklük taşıması gerekmez. 1=Ankara, 2=İstanbul kodlaması İstanbul'un Ankara'nın iki katı olduğu anlamına gelmez. Ölçüm düzeyi, kullanılabilecek uzaklık ve model varsayımlarını etkiler.

Ölçekleme

Uzaklığa ve marja dayalı yöntemler değişken ölçeklerine duyarlıdır. Bir özellik kilometre, diğeri 0–1 aralığında ölçülüyorsa ham Öklid uzaklığında büyük ölçekli değişken baskın olabilir.

Standartlaştırma sık kullanılan dönüşümdür:

z = (x - μ) / σ

Min–max ölçekleme ise bir aralığa taşır. Dönüşümün parametreleri yalnız eğitim verisinden hesaplanmalı, doğrulama ve test verisine aynı dönüşüm uygulanmalıdır. Tüm veri üzerinde önceden ölçekleme yapmak veri sızıntısı oluşturabilir.

Benzerlik ve farklılık

Sayısal veride Minkowski uzaklığı:

d(x,y) = (Σ |x_i-y_i|^p)^(1/p)

p=2 için Öklid, p=1 için Manhattan uzaklığı elde edilir.

Metin ve yüksek boyutlu seyrek vektörlerde kosinüs benzerliği sık kullanılır:

cos(x,y) = (x·y) / (||x|| ||y||)

Nominal özelliklerde eşleşme/eşleşmeme temelli ölçüler, ikili özelliklerde Jaccard benzerliği gibi ölçüler daha anlamlı olabilir. Uzaklık seçimi algoritmadan bağımsız bir ayrıntı değildir; modelin “yakın” ve “benzer” kavramlarını doğrudan tanımlar.

Boyut arttıkça komşuluk

Yüksek boyutta noktalar arasındaki uzaklıkların birbirine yaklaşması, seyrekleşme ve örnek gereksiniminin hızlı büyümesi “boyutluluk laneti” başlığı altında incelenir. k-NN, yoğunluk kestirimi ve kümeleme bu etkiden özellikle zarar görebilir. Özellik seçimi ve boyut indirgeme bu nedenle yalnız hız optimizasyonu değildir; modelin geometrisini değiştirebilir.

Ünite 3: Amaç Fonksiyonu, Olabilirlik ve Genelleme

Ampirik risk

Bir model f_θ, örnek başına kayıp L ile değerlendirilsin. Eğitimde sık kullanılan temel amaç:

R_emp(θ) = (1/n) Σ L(y_i, f_θ(x_i))

ifadesini küçültmektir. Ancak eğitim kaybını en aza indirmek tek başına yeterli değildir; modelin görülmemiş veri üzerindeki beklenen hatası önemlidir.

En çok olabilirlik kestirimi

Model p(x | θ) ya da p(y | x, θ) biçiminde olasılıksal ise, en çok olabilirlik kestirimi parametreleri gözlenen veriyi en olası kılacak şekilde seçer:

θ_MLE = argmax_θ Π p(z_i | θ)

Sayısal kararlılık için çoğunlukla log-olabilirlik kullanılır:

θ_MLE = argmax_θ Σ log p(z_i | θ)

MAP kestirimi

Parametre hakkında önsel bilgi p(θ) ile ifade ediliyorsa maksimum sonsal kestirim:

θ_MAP = argmax_θ p(data | θ) p(θ)

şeklindedir. Düzenlileştirmenin bazı biçimleri Bayesçi bakışta parametre önselleriyle ilişkilendirilebilir.

Bias–variance dengesi

Çok basit model gerçek yapıyı yakalayamayabilir; bu yüksek bias davranışıdır. Çok esnek model örnekleme gürültüsüne aşırı uyabilir; bu yüksek variance davranışıdır. Model seçiminin ana sorularından biri bu iki hata kaynağını uygun veri hacmi ve görev maliyeti altında dengelemektir.

No Free Lunch

Her problem için evrensel olarak en iyi tek öğrenme algoritması yoktur. Bir yöntemin başarısı, taşıdığı varsayımların verinin gerçek yapısıyla uyuşmasına bağlıdır. Model karşılaştırması bu nedenle aynı veri bölmesi, aynı ölçütler ve aynı hesaplama bütçesi altında yapılmalıdır.

Ünite 4: Regresyon ve Olasılıksal Sınıflandırma

Doğrusal regresyon

Basit doğrusal model:

Y = β0 + β1 X + ε

çoklu regresyonda:

Y = β0 + β1X1 + ... + βpXp + ε

şeklinde genişler. En küçük kareler yöntemi artıkların kareleri toplamını küçültür:

min_β Σ (y_i - ŷ_i)^2

Regresyonda katsayı yorumu, artık yapısı, çoklu doğrusal bağlantı, aykırı ve etkili gözlemler Olasılık ve İstatistik notundaki çıkarımsal çerçeveyle birlikte değerlendirilmelidir.

Polinom regresyon

Doğrusal regresyondaki “doğrusal” ifadesi girdinin kendisine değil parametrelere göre doğrusallığı ifade eder. Örneğin:

Y = β0 + β1X + β2X^2 + ε

parametreler bakımından hâlâ doğrusal bir regresyon modelidir. Derece yükseldikçe esneklik artar, fakat eğitim verisine aşırı uyum riski de büyür.

Lojistik regresyon

İkili sınıflandırmada doğrusal skor:

z = β0 + β^T x

sigmoid ile olasılığa çevrilebilir:

p(y=1|x) = 1 / (1 + e^(-z))

Karar için 0.5 eşiği zorunlu değildir; eşik yanlış pozitif ve yanlış negatif maliyetlerine göre seçilebilir. Lojistik regresyon adında “regresyon” bulunsa da temel kullanım alanı sınıflandırmadır.

Ridge, Lasso ve Elastic Net

Ridge:

min_β SSE + λ Σ β_j^2

Lasso:

min_β SSE + λ Σ |β_j|

Elastic Net iki cezayı birlikte kullanır. Ridge katsayıları küçültür; Lasso bazı katsayıları sıfıra iterek seyrek çözüm üretebilir. Ceza büyüklüğü eğitim verisine bakılarak keyfî seçilmemeli, doğrulama veya çapraz doğrulama ile değerlendirilmelidir.

PCR ve PLS

Principal Components Regression önce açıklayıcı değişkenleri PCA bileşenlerine dönüştürür, ardından regresyon yapar. PCA hedef y bilgisini kullanmadığı için en yüksek varyanslı yönler her zaman en iyi tahmin yönleri olmayabilir.

Partial Least Squares ise bileşenleri üretirken hedefle ortak değişimi de hesaba katar. Çok sayıda ve ilişkili özellik bulunan veri kümelerinde iki yöntem yararlı olabilir.

Diğer regresyon aileleri

• Support Vector Regression (SVR): SVM'in marj fikrini sürekli hedeflere taşır.
• Gaussian Process Regression (GPR): fonksiyon değerlerini ortak Gauss dağılımı altında modelleyerek tahminle birlikte belirsizlik de üretir; çekirdek seçimi kovaryans yapısını belirler.
• Ordinal regresyon: doğal sırası olan kategorik hedefler için kullanılır.
• Poisson regresyon: sayım verileri için uygundur.
• Negatif binom regresyonu: Poisson varsayımındaki ortalama-varyans eşitliği ciddi biçimde bozulduğunda aşırı saçılımı modelleyebilir.

Model ailesi hedef değişkenin dağılımı ve hata mekanizmasıyla uyumlu seçilmelidir.

Ünite 5: k-En Yakın Komşu

Temel fikir

k-En Yakın Komşu (k-NN), yeni gözlemi eğitim kümesindeki en yakın k örneğe bakarak tahmin eder. Eğitim aşamasında karmaşık bir parametrik model kurmadığı için örnek tabanlı veya tembel öğrenme yöntemi olarak anılır.

Sınıflandırmada:

ŷ = en yakın k komşu içindeki çoğunluk sınıfı

regresyonda ise komşu hedeflerinin ortalaması veya ağırlıklı ortalaması kullanılabilir.

k seçimi

k=1 karar sınırını çok yerel hale getirir; gürültüye duyarlılık artabilir. Büyük k tahmini daha düzgün hale getirir fakat küçük ve gerçek yerel yapıları silebilir. k bir hiperparametredir ve doğrulama verisiyle seçilmelidir.

İkili sınıflandırmada eşitlik riskini azaltmak için tek sayılı k kullanmak pratik olabilir; çok sınıflı problemlerde bu tek başına eşitliği garanti etmez.

Ağırlıklı oylama

Yakın komşunun daha etkili olması için örneğin:

w_i = 1 / (d_i + ε)

şeklinde uzaklığa ters ağırlık kullanılabilir. Uzaklık sıfır olduğunda bölme hatasını önlemek için özel durum yönetimi gerekir.

Hesaplama maliyeti

Naif uygulamada her sorgu için tüm eğitim örnekleriyle uzaklık hesaplanır. KD-tree ve ball tree düşük/orta boyutta hız sağlayabilir; çok yüksek boyutta indeks yapıları etkinliğini kaybedebilir. Yaklaşık en yakın komşu yöntemleri büyük vektör uzaylarında farklı bir hız-doğruluk dengesi sunar.

Güçlü ve zayıf yönleri

k-NN basit, açıklanabilir ve doğrusal olmayan karar sınırlarını temsil edebilir. Buna karşılık:

• ölçeklemeye duyarlıdır,
• alakasız özelliklerden etkilenir,
• yüksek boyutta komşuluk zayıflar,
• sorgu maliyeti büyüyebilir,
• sınıf dengesizliği çoğunluk oyunu bozabilir.

Bu nedenlerle veri ön işleme algoritmanın ayrılmaz parçasıdır.

Ünite 6: Bayesçi Sınıflandırma ve Naive Bayes

Bayes teoremi

Sınıf C, gözlenen özellikler x olsun:

P(C | x) = P(x | C) P(C) / P(x)

Sınıflar karşılaştırılırken P(x) tüm sınıflar için ortak olduğundan:

P(C | x) ∝ P(x | C) P(C)

yeterlidir.

P(C) önsel olasılık, P(x|C) olabilirlik, P(C|x) sonsal olasılıktır.

Naive Bayes varsayımı

Naive Bayes, özelliklerin sınıf verildiğinde koşullu bağımsız olduğunu varsayar:

P(x1,...,xp | C) = Π P(x_j | C)

Bu varsayım gerçek veride çoğu zaman tam doğru değildir; buna rağmen özellikle seyrek, yüksek boyutlu metin verilerinde etkili bir başlangıç modeli olabilir.

Gaussian, Multinomial ve Bernoulli Naive Bayes

• Gaussian Naive Bayes: sürekli özellikleri sınıf içinde normal dağılımla modeller.
• Multinomial Naive Bayes: sözcük veya olay sayımları gibi negatif olmayan sayım özelliklerinde kullanılır.
• Bernoulli Naive Bayes: bir özelliğin var/yok biçimindeki ikili temsilini kullanır.

Model seçimi verinin nasıl temsil edildiğine bağlıdır.

Sıfır olasılık ve Laplace düzeltmesi

Eğitim kümesinde hiç görülmeyen bir sözcük için doğrudan sıfır olasılık kullanılırsa çarpımdaki bütün sınıf olabilirliği sıfıra düşebilir. Additive/Laplace smoothing:

P(w|C) = (count(w,C) + α) / (Σ count(.,C) + α|V|)

ile sıfır sayımlarını yumuşatır. α=1 klasik add-one düzeltmesidir.

Log uzayında hesaplama

Çok sayıda küçük olasılığı çarpmak sayısal taşma-altı üretebilir. Bunun yerine:

log P(C|x) ∝ log P(C) + Σ log P(x_j|C)

hesaplanır.

Spam sınıflandırması

Metin vektörleri ve Naive Bayes birlikteliği spam filtrelemenin klasik örneklerindendir. Veri Madenciliği Teknikleri ile Spam Algılama çalışmasında Bayesçi sınıflandırma, n-gram temsilleri ve sınıflandırma ölçütleri uygulama bağlamında ele alınır.

Ünite 7: Destek Vektör Makineleri

Maksimum marj

İkili sınıflandırmada doğrusal karar yüzeyi:

w^T x + b = 0

şeklindedir. SVM yalnız sınıfları ayıran bir yüzey bulmak yerine, iki sınıfa en yakın örneklerle arasındaki marjı mümkün olduğunca genişletir. Karar yüzeyini belirleyen kritik örnekler destek vektörleridir.

Hard margin

Veri kusursuz doğrusal ayrılabiliyorsa:

y_i (w^T x_i + b) >= 1

kısıtları altında:

min 1/2 ||w||^2

çözülür. Gerçek veride ölçüm hatası ve sınıf örtüşmesi bulunduğundan hard margin çoğu zaman fazla katıdır.

Soft margin ve C

Slack değişkenleri ξ_i ile ihlallere izin verilir:

min 1/2 ||w||^2 + C Σ ξ_i

C büyüdükçe eğitim ihlalleri daha ağır cezalandırılır; küçük C daha geniş marj ve daha fazla ihlale izin verebilir. C doğrudan “yüksek daha iyi” biçiminde seçilemez.

Çekirdek yöntemi

Doğrusal olmayan örüntülerde özellik dönüşümü φ(x) ile daha uygun bir uzay düşünülebilir. Çekirdek:

K(x,z) = φ(x)^T φ(z)

ifadesini dönüşümü açıkça oluşturmadan hesaplamaya imkân verir.

Yaygın çekirdekler:

• doğrusal,
• polinom,
• RBF/Gaussian,
• sigmoid.

RBF çekirdeğinde γ komşuluğun ölçeğini belirler. Çok büyük γ çok yerel karar bölgeleri oluşturabilir; çok küçük γ model esnekliğini azaltabilir.

Çok sınıflı SVM

SVM'in temel formu ikili sınıflandırmadır. Çok sınıflı görevler one-vs-rest veya one-vs-one gibi stratejilerle kurulabilir. Kullanılan kütüphanenin hangi stratejiyi uyguladığı değerlendirme sırasında bilinmelidir.

SVR

Support Vector Regression, belirli bir ε tüpü içindeki hataları cezasız kabul ederek regresyon yapabilir. Böylece marj fikri sürekli hedeflere taşınır.

Ünite 8: Karar Ağaçları ve Topluluk Öğrenmesi

Karar ağacı

Karar ağacı veriyi ardışık sorularla böler. İç düğüm bir özelliği ve bölme kuralını, yaprak düğüm nihai tahmini taşır. Elde edilen yol çoğu durumda okunabilir bir kural olarak ifade edilebilir.

Entropi ve bilgi kazancı

Bir düğümde sınıf olasılıkları p_k ise entropi:

H = -Σ p_k log2 p_k

şeklindedir. Bölme sonrası belirsizlik azalması bilgi kazancı olarak kullanılabilir. ID3 klasik olarak information gain ile ilişkilidir.

C4.5, çok sayıda farklı değer alan özelliklere eğilimi azaltmak için gain ratio kullanır.

Gini ölçütü

CART sınıflandırma ağaçlarında yaygın safsızlık ölçüsü:

Gini = 1 - Σ p_k^2

şeklindedir. Regresyon ağacında karesel hata gibi sürekli hedef ölçütleri kullanılabilir.

Aşırı uyum ve budama

Ağaç yeterince derin büyütülürse eğitim verisini çok ayrıntılı parçalayabilir. Bu durum varyansı artırır. Maksimum derinlik, minimum yaprak örneği, minimum kazanç ve budama gibi kontroller genelleme için kullanılır.

Bagging ve Random Forest

Bagging, bootstrap örnekleri üzerinde birçok model eğitip çıktıları birleştirir. Random Forest buna ek olarak her bölmede özelliklerin rastgele bir alt kümesini değerlendirerek ağaçlar arasındaki korelasyonu azaltmaya çalışır.

Sınıflandırmada çoğunluk oyu, regresyonda ortalama sık kullanılan birleştirme yöntemidir.

Boosting

Boosting modelleri bağımsız ortalamak yerine ardışık biçimde kurar; sonraki öğrenici önceki hatalara daha fazla odaklanır. AdaBoost ve gradient boosting aynı genel fikrin farklı gerçekleştirimleridir.

Topluluk yöntemi her durumda tek modeli geçmez; veri boyutu, gürültü, hiperparametreler ve değerlendirme protokolü belirleyicidir.

Ünite 9: Kümeleme ve Karışım Modelleri

Kümeleme problemi

Kümeleme etiketsiz veride benzer örnekleri gruplamaya çalışır. “İyi küme” fikri kullanılan benzerlik ölçüsüne ve beklenen geometrik yapıya bağlıdır. Bir algoritmanın ürettiği kümelerin fiziksel anlamını model kendiliğinden bilmez; yorum alan bilgisiyle yapılır.

K-Means

K-Means'in amacı gözlemleri K kümeye ayırarak küme içi kareli uzaklık toplamını azaltmaktır:

J = Σ_k Σ_{x_i ∈ C_k} ||x_i - μ_k||^2

Lloyd algoritması:

1. K merkez başlatılır.
2. Her gözlem en yakın merkeze atanır.
3. Her kümenin yeni merkezi aritmetik ortalamayla hesaplanır.
4. Atamalar/merkezler kararlı hale gelene kadar 2–3 tekrarlanır.

Amaç değeri iterasyonlarda artmaz; buna rağmen bulunan çözüm global optimum olmak zorunda değildir. Başlangıç merkezleri sonucu etkiler.

K-Means++ ve K seçimi

K-Means++ başlangıç merkezlerini birbirinden uzak seçme olasılığını artırarak kötü başlangıç riskini azaltır.

K seçimi için dirsek yöntemi yalnız görsel bir sezgidir. Silhouette skoru bir gözlemin kendi kümesine uyumu ile en yakın alternatif kümeye uzaklığını birlikte değerlendirir. Tek bir “doğru K” her veri kümesinde bulunmayabilir.

K-Medoids, PAM, CLARA ve CLARANS

K-Medoids merkez olarak gerçek bir gözlemi kullanır. Bu, ortalamaya dayalı K-Means'e göre aykırı değerlere daha dayanıklı olabilir ve ortalamanın anlamlı olmadığı bazı uzaklıklarla çalışabilir.

PAM klasik medoid arama yöntemidir. CLARA büyük veri için örneklem üzerinde PAM çalıştırır. CLARANS medoid çözümleri arasında örneklenmiş komşuluk araması yapar. Ölçeklenebilirlik kazanımı çözüm kalitesiyle dengelenir.

Bulanık C-Ortalamalar

Fuzzy C-Means her gözlemi yalnız tek kümeye atamak yerine kümelere üyelik dereceleri verir. Bir noktanın iki küme arasında kalması böylece 0/1 karar yerine dereceli temsil edilir. Üyelik fonksiyonu ve bulanık kümelerin matematiksel temeli Bulanık Mantık notunda ele alınır.

Hiyerarşik kümeleme

Birleştirici (agglomerative) yaklaşım tekil gözlemlerden başlayıp kümeleri birleştirir; bölücü (divisive) yaklaşım bütün veri kümesinden başlayıp parçalar. Bağlantı ölçütleri—single, complete, average veya Ward—oluşan dendrogramı ciddi biçimde değiştirebilir.

AGNES ve DIANA klasik hiyerarşik ailelerdir. BIRCH büyük veri üzerinde özet yapı kullanarak ölçeklenebilir kümeleme hedefler; CURE/CAMELEON gibi yöntemler farklı şekil ve yoğunluklara uyum için temsil ve bağlantı fikirlerini genişletir.

DBSCAN

DBSCAN merkez sayısını baştan istemez. ε komşuluğu ve minPts üzerinden yoğun bölgeleri kümeye, seyrek bölgeleri gürültüye ayırır. Küresel olmayan küme şekillerini yakalayabilir; ancak farklı yoğunlukların aynı veri kümesinde bulunması parametre seçimini zorlaştırır.

Gaussian mixture ve EM

Gaussian Mixture Model veriyi tek merkezli kümeler yerine Gauss bileşenlerinin olasılıksal karışımıyla temsil eder:

p(x) = Σ_k π_k N(x | μ_k, Σ_k)

Bir gözlem her bileşen için bir sorumluluk/olasılık değeri taşır. Expectation-Maximization (EM) algoritması:

E adımı: bileşen sorumluluklarını hesapla
M adımı: parametreleri bu sorumluluklarla güncelle

döngüsünü kullanır. K-Means'in sert atamasına karşılık GMM yumuşak olasılıksal üyelik verir.

Ünite 10: Boyut İndirgeme ve Özellik Seçimi

Özellik seçimi ve özellik dönüşümü

Özellik seçimi mevcut sütunlardan bir alt küme seçer. Boyut indirgeme ise çoğunlukla yeni eksenler üretir. İki işlem aynı değildir.

PCA

Temel Bileşen Analizi (PCA), verideki en yüksek varyansı taşıyan birbirine dik doğrusal yönleri bulur. Merkezlenmiş veri için kovaryans matrisinin özvektörleri veya SVD kullanılarak hesaplanabilir.

PCA etiket kullanmaz. Bu nedenle en yüksek varyanslı yönün sınıflandırma için en ayırt edici yön olması gerekmez. Özelliklerin farklı birimlerde olduğu veri setlerinde ölçekleme sonuçları belirgin biçimde değiştirebilir.

SVD

Bir matris:

X = U Σ V^T

biçiminde tekil değer ayrışımına uğratılabilir. Düşük dereceli yaklaşım, en büyük tekil değerlerle veri yapısının önemli bölümünü daha az boyutta temsil edebilir. PCA hesaplamasıyla yakın matematiksel ilişkiye sahiptir.

LDA

Linear Discriminant Analysis sınıf etiketlerini kullanır. Amaç sınıflar arası ayrımı büyütürken sınıf içi saçılımı küçülten doğrusal izdüşüm bulmaktır. İki sınıf için Fisher ölçütü kavramsal olarak:

J(w) = (w^T S_B w) / (w^T S_W w)

şeklindedir.

C sınıf için doğrusal ayırt edici alt uzayın boyutu en fazla C-1 olabilir.

PCA ile LDA'nın “hangi varyans önemlidir?” sorusuna cevapları farklıdır: PCA etiketsiz toplam varyansa, LDA sınıf ayrımına bakar.

Özellik seçimi

Filtre yöntemleri korelasyon, bilgi kazancı veya istatistiksel test gibi modelden bağımsız ölçüler kullanabilir. Wrapper yöntemleri özellik alt kümelerini model başarısıyla değerlendirir. Embedded yöntemlerde seçim model eğitiminin parçasıdır; Lasso ve ağaç tabanlı önem ölçüleri buna örnektir.

Seçim süreci yalnız eğitim verisi içinde yapılmalıdır. Test setine bakılarak özellik seçmek değerlendirmeyi kirletir.

Ünite 11: Anomali ve Aykırı Değer Tespiti

Aykırının bağlama bağlı olması

Aykırı değer diğer gözlemlerden önemli ölçüde farklı görünen örnektir. Fakat “farklı” her zaman “hatalı” anlamına gelmez. Üç temel durum ayrılabilir:

• Noktasal aykırı: tek örnek genel dağılımdan sapar.
• Bağlamsal aykırı: örnek yalnız belirli zaman, yer veya bağlam altında sıra dışıdır.
• Toplu aykırı: tek tek normal görünen bir grup birlikte olağan dışı örüntü oluşturur.

Gürültü ölçüm belirsizliği veya rastgele bozulma olabilir; anomali ise alan açısından anlamlı bir olay da olabilir.

İstatistiksel yöntemler

Dağılım biliniyorsa düşük olasılıklı bölgeler anomali adayı olarak tanımlanabilir. Normal dağılım altında z-skoru, Grubbs testi ve benzeri yöntemler belirli varsayımlarla çalışır. Boxplot/IQR ve histogram gibi yöntemler dağılımı daha az modelleyerek keşifsel işaret sağlar.

Parametrik model yanlışsa “düşük olasılık” kararı da yanlış olabilir. Aykırılar parametre kestirimini bozabileceği için dayanıklı istatistik önemlidir.

Regresyon tabanlı yöntem

Bir gözlemin model tahmini ile gerçek değeri arasındaki büyük artık anomali işareti olabilir:

r_i = y_i - ŷ_i

Ancak model yetersizse büyük artık anomali değil model hatasıdır.

Yakınlık ve yoğunluk tabanlı yöntemler

k-NN uzaklığı gibi ölçüler, komşularından çok uzakta kalan noktaları işaretleyebilir. Local Outlier Factor (LOF), bir noktanın yerel yoğunluğunu komşularının yoğunluğuyla karşılaştırır. Yaklaşık LOF≈1 benzer yerel yoğunluk, belirgin biçimde >1 daha seyrek yerleşim anlamına gelebilir.

Yüksek boyutta uzaklık ve yoğunluk kavramları zayıfladığından bu yöntemler özellik temsiline duyarlıdır.

Kümeleme tabanlı yöntemler

• Merkezden çok uzak gözlemler,
• çok küçük kümeler,
• seyrek kümeler,
• DBSCAN tarafından gürültü olarak bırakılan noktalar

anomali adayı olabilir. Fakat normal veri doğal kümeler oluşturmuyorsa bu varsayım başarısız olur.

Sınıflandırma tabanlı yöntemler

Etiketli normal/anormal örnekler varsa sıradan ikili sınıflandırma kullanılabilir. Anomali örneği az olduğunda one-class SVM gibi yalnız normal sınıfın sınırını öğrenmeye çalışan yöntemler de kullanılabilir.

Anomali tespiti siber saldırı, dolandırıcılık, sensör arızası, tıbbi gözlem, görüntü ve metin gibi çok farklı alanlarda kullanılır; “anomali”nin operasyonel tanımı her alanda yeniden kurulmalıdır.

Ünite 12: n-gram ve İstatistiksel Dil Modelleri

Diziyi yerel bağlamla modellemek

Bir n-gram, bir dizide art arda gelen n birimin oluşturduğu parçadır. Birim sözcük, karakter, hece, token veya uygulamaya özgü başka bir sembol olabilir.

1-gram = unigram
2-gram = bigram
3-gram = trigram
n-gram = n uzunluklu ardışık parça

“gram” ağırlık anlamına gelmez; burada parça/dizi birimini ifade eden adlandırmanın parçasıdır.

Zincir kuralı ve Markov yaklaşımı

Bir sözcük dizisinin tam olasılığı:

P(w1,...,wT) = Π_t P(w_t | w1,...,w_{t-1})

ile yazılabilir. Tam geçmişi kestirmek veri açısından zordur. n-gram dil modeli yalnız son n-1 birimi bağlam kabul eder:

P(w_t | geçmiş) ≈ P(w_t | w_{t-n+1},...,w_{t-1})

Bigram için:

P(w_t | w_{t-1})

kullanılır.

Sayım tabanlı kestirim

Bigram için en çok olabilirlik kestirimi:

P(w_i | w_{i-1}) = count(w_{i-1}, w_i) / count(w_{i-1})

şeklindedir. Görülmemiş diziler sıfır olasılık üretebileceğinden smoothing, backoff ve interpolation gibi yöntemler kullanılır.

Karakter ve sözcük n-gram'ları

Sözcük n-gram'ları yerel sözdizim ve sözcük birlikteliklerini taşır. Karakter n-gram'ları yazım varyasyonları, ekler, dil tanıma ve gürültülü metin için yararlı olabilir. Türkçe gibi eklemeli dillerde karakter/parça temsilleri seyrek sözcük sorununu kısmen azaltabilir.

Naive Bayes ile ilişki

Metin sınıflandırmada n-gram sayımları Multinomial Naive Bayes'in özellikleri olarak kullanılabilir. Unigram yalnız tekil sözcük sıklığını, bigram ise “çok iyi”, “iyi değil” gibi yerel sıralama bilgisinin bir bölümünü taşır. n büyüdükçe bağlam zenginleşirken veri seyrekliği ve özellik uzayı büyür.

Konuşma tanıma

Klasik otomatik konuşma tanıma sistemlerinde akustik model aday sözcük dizilerinin sese uyumunu, n-gram dil modeli ise dizinin dilsel olasılığını değerlendirir. Bu ilişki Sesten Konuşma Tanıma bölümünde sistem mimarisi içinde ele alınır.

Modern dil modelleriyle fark

n-gram modeli sabit ve kısa bağlama dayalı sayım istatistiğidir. Transformer tabanlı dil modelleri bağlamı dağıtık vektör temsilleri ve attention üzerinden işler. Her ikisi de dizisel olasılık kestirebilir, fakat temsil kapasitesi ve genelleme mekanizması aynı değildir.

Ünite 13: Olasılıksal Grafik Modeller ve Gizli Markov Modelleri

Bayes ağları

Bir Bayes ağı, rassal değişkenler arasındaki koşullu bağımlılıkları yönlü çevrimsiz bir graf üzerinde gösterir. Her düğüm kendi ebeveynlerine koşullu bir olasılık dağılımı taşır. Ortak dağılım:

P(X1,...,Xn) = Π_i P(X_i | Parents(X_i))

şeklinde çarpanlara ayrılır. Grafik, hangi değişkenlerin doğrudan koşullu ilişki taşıdığını görünür kılar; fakat gözlemsel bir Bayes ağı tek başına nedensel grafik değildir.

Naive Bayes bu bakışın özel ve çok kısıtlı bir örneği gibi düşünülebilir: sınıf düğümü özelliklerin ortak ebeveynidir ve özellikler sınıf verildiğinde birbirinden bağımsız kabul edilir.

Markov zinciri

Markov varsayımı geleceğin, seçilen durum tanımı verildiğinde daha eski geçmişten bağımsız olduğunu söyler:

P(S_t | S_1,...,S_{t-1}) = P(S_t | S_{t-1})

Bu yapı Olasılık ve İstatistik notundaki stokastik süreç ve geçiş matrisi kavramlarını dizisel öğrenmeye bağlar.

Gizli Markov Modeli

Hidden Markov Model (HMM), doğrudan gözlenmeyen durum dizisini ve bu durumların ürettiği gözlemleri birlikte modeller:

gizli durum S_t
   ↓ emission
 gözlem O_t

Model üç temel bileşen taşır:

• başlangıç durum olasılıkları,
• durumlar arası geçiş olasılıkları,
• her durumun gözlem/emission dağılımı.

Temel problemler şunlardır:

• değerlendirme: belirli bir gözlem dizisinin olasılığını hesaplamak,
• kod çözme: en olası gizli durum dizisini bulmak,
• öğrenme: model parametrelerini veriden kestirmek.

Forward–backward, Viterbi ve Baum–Welch/EM ailesi bu problemlerin klasik çözümleridir.

Konuşma ve zaman dizileri

Klasik konuşma tanımada HMM durumları zamansal akışı, akustik model gözlem olasılıklarını, n-gram ise sözcük dizisinin dilsel önselini taşır. Bu mimari Sesten Konuşma Tanıma bölümünde uygulama hattı içinde gösterilir.

Bayes ağları ve HMM'ler, “makine öğrenmesi yalnız karar sınırı çizmektir” anlayışının yetersizliğini gösterir: bazı görevlerde esas problem değişkenler arasındaki olasılıksal bağımlılık ve gizli durum yapısını modellemektir.

Ünite 14: Model Değerlendirme

Eğitim, doğrulama ve test

Verinin temel rolleri ayrılmalıdır:

• eğitim: model parametrelerini öğrenir,
• doğrulama: hiperparametre ve model seçimini destekler,
• test: seçim tamamlandıktan sonra nihai genelleme tahmini verir.

Test setini tekrar tekrar model seçmek için kullanmak onu fiilen doğrulama setine dönüştürür.

Hata matrisi

İkili sınıflandırmada:

                 Gerçek +   Gerçek -
Tahmin +            TP          FP
Tahmin -            FN          TN

Bu dört sayı birçok ölçütün temelidir.

Accuracy

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Sınıflar dengesizse yanıltıcı olabilir. %99 normal veri içeren bir problemde her örneğe normal diyen model %99 accuracy elde eder fakat hiçbir anomalinin yakalanmasını sağlamaz.

Precision, recall, specificity ve F1

Precision = TP / (TP + FP)
Recall    = TP / (TP + FN)
Specificity = TN / (TN + FP)
F1 = 2 * Precision * Recall / (Precision + Recall)

Yanlış pozitif maliyeti yüksekse precision, yanlış negatif maliyeti yüksekse recall daha kritik olabilir. Tek ölçüt seçmek iş maliyetlerini görünmez hale getirmemelidir.

ROC ve PR eğrileri

Karar eşiği değiştikçe TPR/FPR ilişkisi ROC eğrisini oluşturur. Pozitif sınıf çok seyrek olduğunda precision–recall eğrisi model farklarını daha görünür kılabilir. AUC tek başına belirli bir operasyon eşiğinin maliyetini göstermez.

Kalibrasyon

Bir model “0.8 olasılık” verdiği örneklerin yaklaşık %80'i gerçekten pozitif oluyorsa bu aralıkta iyi kalibre edilmiş sayılabilir. Ayrım gücü ve kalibrasyon farklı özelliklerdir; yüksek AUC iyi kalibrasyonu garanti etmez.

Regresyon ölçütleri

MAE  = mean(|y-ŷ|)
MSE  = mean((y-ŷ)^2)
RMSE = sqrt(MSE)
R²   = 1 - SSE/SST

MSE/RMSE büyük hataları daha ağır cezalandırır. MAE aykırı büyük hatalara daha az duyarlıdır. R² yüksek olsa bile hata büyüklüğü uygulama için kabul edilemez olabilir.

Kümeleme ölçütleri

Etiket yoksa değerlendirme daha zordur. Inertia küme içi yayılımı, silhouette hem kendi kümesine yakınlığı hem alternatif kümelere uzaklığı özetler. Gerçek sınıf etiketleri varsa adjusted Rand index gibi dışsal ölçüler kullanılabilir; fakat “küme” ile “sınıf” aynı kavram değildir.

Ünite 15: Model Seçimi, Düzenlileştirme ve Veri Sızıntısı

Çapraz doğrulama

k-fold çapraz doğrulamada veri k parçaya ayrılır; her turda bir parça doğrulama, diğerleri eğitim için kullanılır. Sonuçlar ortalanır. Küçük veri kümelerinde değerlendirme varyansını azaltabilir.

Sınıflandırmada sınıf oranlarını koruyan stratified bölme; zaman serisinde geleceğin geçmişe sızmasını önleyen zamansal bölme gerekir. Rastgele k-fold her problem için doğru değildir.

Hiperparametre seçimi

k komşu sayısı, SVM C/γ, ağaç derinliği, K-Means K, regularization katsayısı gibi değerler eğitim sırasında doğrudan öğrenilmeyen hiperparametrelerdir. Grid search, random search veya daha uyarlanabilir arama yöntemleri kullanılabilir.

Hiperparametre araması test verisine bakmamalıdır. Yoğun arama yapılacaksa nested cross-validation tarafsız performans kestirimi için yararlı olabilir.

Veri sızıntısı

Sızıntı yalnız hedef sütununun yanlışlıkla girişe eklenmesi değildir. Şunlar da sızıntı oluşturabilir:

• tüm veriyle ölçekleyici fit etmek,
• test verisine bakarak özellik seçmek,
• aynı kişinin kayıtlarını eğitim ve testte bulundurmak,
• geleceğe ait bilgiyi geçmiş tahminine taşımak,
• veri çoğaltmadan türetilen neredeyse aynı örnekleri iki bölmeye dağıtmak.

Doğru değerlendirme, üretimde tahmin anında gerçekten erişilecek bilgi sınırını taklit etmelidir.

Sınıf dengesizliği

Azınlık sınıfı nadir olduğunda:

• sınıf ağırlığı,
• kontrollü yeniden örnekleme,
• uygun eşik,
• PR tabanlı ölçütler,
• maliyet duyarlı öğrenme

değerlendirilebilir. SMOTE gibi sentetik örnekleme yöntemleri yalnız eğitim bölmesinde uygulanmalıdır.

Model karmaşıklığı ve öğrenme eğrileri

Eğitim ve doğrulama hatalarının veri miktarıyla değişimi yetersiz uyum, yüksek varyans veya daha fazla verinin potansiyel etkisi hakkında bilgi verir. “Daha fazla veri her zaman sorunu çözer” doğru değildir; yanlış hedef, etiket hatası veya dağılım uyumsuzluğu veri hacmiyle düzelmeyebilir.

Ünite 16: Üretimde İstatistiksel Öğrenme

Eğitim ile tahmin hattı aynı olmalıdır

Üretim sistemi yalnız model dosyasından oluşmaz. Özellik çıkarımı, ölçekleme, kategori sözlüğü, eksik değer politikası ve karar eşiği modelle birlikte sürümlenmelidir.

ham veri
→ doğrulama
→ ön işleme
→ özellikler
→ model
→ skor
→ eşik / karar
→ izleme

Eğitimde kullanılan bir dönüşüm üretimde farklı uygulanırsa model matematiksel olarak aynı olsa bile sistem davranışı değişir.

Dağılım değişimi

Data drift girdi dağılımının değişmesidir. Concept drift girdi ile hedef arasındaki ilişkinin değişmesidir. Bir modelin üretim başarısının zamanla düşmesi yalnız kod hatası değil, veri üretim sürecinin değişmesi olabilir.

İzleme yalnız ortalama skora değil:

• özellik dağılımlarına,
• sınıf oranlarına,
• calibration'a,
• hata türlerine,
• gecikmeye,
• eksik veri oranına

bakmalıdır.

Tekrarlanabilirlik

Deney kayıtlarında en azından:

• veri sürümü,
• bölme yöntemi,
• rastgele tohum,
• ön işleme parametreleri,
• model/kitaplık sürümü,
• hiperparametreler,
• değerlendirme ölçütleri

saklanmalıdır. Aynı kod farklı veri veya bölme ile farklı sonuç verebilir.

Açıklanabilirlik

Lineer model katsayıları, karar ağacı yolları ve komşu örnekler belirli düzeyde doğrudan yorumlanabilir. Ancak “yorumlanabilir” ile “nedensel” aynı değildir. Ağaçtaki bir eşik veya lojistik regresyondaki katsayı gözlemsel verideki ilişkiyi açıklar; müdahale etkisini tek başına kanıtlamaz.

Ünite 17: Yapay Zeka Yöntemleri Arasındaki Yer

İstatistiksel öğrenme yapay zekanın tamamı değildir. Yöntem aileleri farklı problem varsayımları taşır:

Yapay zeka
├─ sembolik arama, mantık ve planlama
├─ istatistiksel öğrenme
│  ├─ regresyon / Bayesçi modeller
│  ├─ k-NN / SVM / karar ağaçları
│  ├─ kümeleme / boyut indirgeme
│  └─ n-gram / klasik örüntü tanıma
├─ yapay sinir ağları ve derin öğrenme
├─ bulanık mantık
├─ evrimsel hesaplama ve genetik algoritmalar
└─ pekiştirmeli öğrenme

Yapay Sinir Ağları, temsil ve parametreleri çok katmanlı bağlantılar üzerinden öğrenir; ayrıntılı modeller Yapay Sinir Ağları ve Öğrenme Modelleri bölümündedir.

Bulanık Mantık, olasılıktan farklı olarak bir kavrama üyelik derecesini modeller. Fuzzy C-Means bu iki dünyanın kesiştiği örneklerden biridir: kümeleme istatistiksel/örüntüsel bir görevken üyelik 0–1 yerine derecelidir.

Genetik Algoritmalar ve Uygulamaları, model parametrelerini doğrudan olasılıksal kestirimle öğrenmek yerine popülasyon, seçim ve varyasyon üzerinden arama yapar. Bir SVM'in hiperparametreleri veya özellik alt kümesi genetik algoritmayla da aranabilir; yöntem ailelerinin birbirini dışlaması gerekmez.

Üst düzey tarihsel ve felsefi çerçeve Yapay Zeka: Felsefe, Kuram ve Uygulama bölümünde yer alır. Buradaki ayrım, hangi yöntemin “daha zeki” olduğu değil, hangi varsayım, veri yapısı, hata maliyeti ve hesaplama bütçesi altında hangi öğrenme mekanizmasının uygun olduğudur.

Kaynakça

• Trevor Hastie; Robert Tibshirani; Jerome Friedman. The Elements of Statistical Learning. Springer, 2009.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
• Kevin P. Murphy. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
• Ethem Alpaydın. Introduction to Machine Learning. MIT Press, 2010.
• Gareth James; Daniela Witten; Trevor Hastie; Robert Tibshirani. An Introduction to Statistical Learning. Springer, 2013.
• Thomas M. Cover; Peter E. Hart. “Nearest Neighbor Pattern Classification.” IEEE Transactions on Information Theory, 1967.
• Corinna Cortes; Vladimir Vapnik. “Support-Vector Networks.” Machine Learning, 1995.
• J. MacQueen. “Some Methods for Classification and Analysis of Multivariate Observations.” Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1967.
• Stuart Lloyd. “Least Squares Quantization in PCM.” IEEE Transactions on Information Theory, 1982.
• Leonard Kaufman; Peter J. Rousseeuw. Finding Groups in Data: An Introduction to Cluster Analysis. Wiley, 1990.
• Peter J. Rousseeuw. “Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis.” Journal of Computational and Applied Mathematics, 1987.
• Martin Ester; Hans-Peter Kriegel; Jörg Sander; Xiaowei Xu. “A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise.” KDD, 1996.
• Arthur P. Dempster; Nan M. Laird; Donald B. Rubin. “Maximum Likelihood from Incomplete Data via the EM Algorithm.” Journal of the Royal Statistical Society: Series B, 1977.
• Leo Breiman. “Random Forests.” Machine Learning, 2001.
• Markus M. Breunig; Hans-Peter Kriegel; Raymond T. Ng; Jörg Sander. “LOF: Identifying Density-Based Local Outliers.” SIGMOD, 2000.
• Christopher D. Manning; Prabhakar Raghavan; Hinrich Schütze. Introduction to Information Retrieval. Cambridge University Press, 2008.
• Daniel Jurafsky; James H. Martin. Speech and Language Processing. Prentice Hall, 2009.