Yapay Sinir Ağları ve Öğrenme Modelleri

Perceptron ve çok katmanlı algılayıcıdan geri yayılıma, LVQ, ART, Elman ve diğer sinir ağı ailelerine uzanan; sonraki teknik güncellemeleri de ayrıştıran kapsamlı ders notları.

Yapay sinir ağları notlarım 2013-2015 döneminde perceptron, MLP, geri yayılım, LVQ, ART ve Elman ağı gibi modeller etrafında şekillenmişti. Bu çekirdek yapıyı korudum. CNN, LSTM, attention, Transformer ve üretici modeller gibi daha sonraki başlıklar, ilk ders notlarının parçası değil sonradan eklediğim teknik güncellemelerdir; metinde bu tarihsel ayrımı görünür tuttum.

# Yapay Sinir Ağları

Ünite 1: Yapay Zeka ve Makine Öğrenmesi

Yapay zeka kavramı

Yapay zeka, normalde algılama, öğrenme, akıl yürütme, planlama, karar verme veya dil işleme gibi bilişsel yetenekler gerektiren görevlerin bilgisayar sistemleriyle gerçekleştirilmesini inceler. Tek bir yöntemden oluşmaz. Arama, optimizasyon, mantıksal çıkarım, olasılıksal modeller, makine öğrenmesi ve yapay sinir ağları aynı alanın farklı araçlarıdır.

Bir problemin kesin, hızlı ve güvenilir bir algoritmik çözümü varsa bu çözümü doğrudan kullanmak çoğu zaman daha uygundur. Makine öğrenmesi özellikle girdiler ile çıktılar arasındaki ilişkinin elle yazılmış kurallarla açıkça ifade edilmesinin zor olduğu durumlarda değer kazanır. Görüntü sınıflandırma, konuşma tanıma, kestirim, anomali belirleme ve doğal dil işleme bu duruma örnektir.

Yapay zekanın kullanım alanları

Yapay zeka sistemleri bugün mühendislik, üretim, sağlık, finans, ulaşım, haberleşme, siber güvenlik, bilimsel hesaplama ve karar destek gibi çok farklı alanlarda kullanılır. Uygulamanın niteliğine göre farklı yöntemler seçilir.

Tipik problem sınıfları şunlardır:

sınıflandırma,
regresyon ve kestirim,
kümeleme,
örüntü tanıma,
anomali belirleme,
optimizasyon,
sıralama,
üretim ve sentez,
karar verme ve kontrol.

Bir yapay zeka yönteminin seçimi probleme, veri miktarına, hata maliyetine, gecikme sınırlarına, hesaplama bütçesine ve açıklanabilirlik gereksinimine bağlıdır.

Yapay zeka teknolojileri

Yapay zeka tarihsel olarak çok sayıda yaklaşım üretmiştir. Bunların başlıcaları uzman sistemler, bulanık sistemler, evrimsel hesaplama, olasılıksal yöntemler, örnek tabanlı öğrenme, makine öğrenmesi ve yapay sinir ağlarıdır.

Güncel sistemlerde bu sınırlar kesin değildir. Bir uygulama aynı anda optimizasyon, olasılıksal modelleme ve sinir ağlarından yararlanabilir. Önemli olan yöntemin adı değil, problemin varsayımlarına uygun olmasıdır.

Makine öğrenmesi

Makine öğrenmesi, bir sistemin veriden veya deneyimden yararlanarak belirli bir görevdeki başarımını iyileştirmesini amaçlar. Öğrenme sonucunda açıkça tek tek yazılmamış ilişkiler model parametrelerine aktarılır.

Bir makine öğrenmesi problemi üç temel bileşenle düşünülebilir:

veri veya deneyim,
görev,
başarım ölçütü.

Örneğin e-posta sınıflandırmada veri geçmiş e-postalardır. Görev, yeni e-postayı sınıflandırmaktır. Başarım ölçütü doğruluk, F1 skoru veya uygulamaya özgü başka bir ölçü olabilir.

Öğrenme türleri

Makine öğrenmesinde güncel temel ayrım şöyledir.

Öğretmenli öğrenme: Girdilerle birlikte hedef çıktılar da bilinir. Sınıflandırma ve regresyon temel örneklerdir.

Öğretmensiz öğrenme: Hedef etiket verilmez. Amaç verinin yapısını keşfetmek, kümeler veya düşük boyutlu gösterimler bulmaktır.

Pekiştirmeli öğrenme: Bir ajan çevreyle etkileşir. Eylemlerinin sonucunda ödül alır ve uzun dönemli toplam ödülü eniyilemeye çalışır.

Kendinden öğretmenli öğrenme: Gözetim sinyali verinin kendisinden türetilir. Büyük ölçekli temsil öğrenmede önemli hale gelmiştir.

Yarı öğretmenli öğrenme: Az miktarda etiketli veri ile daha fazla etiketsiz veri birlikte kullanılır.

Dersin tarihsel sınıflandırmalarında geçen alışkanlık, analoji, açıklama veya keşif yoluyla öğrenme gibi ifadeler bilişsel öğrenme biçimlerini açıklamak için yararlıdır. Makine öğrenmesi uygulamalarında ise yukarıdaki veri ve geri bildirim temelli sınıflandırma daha nettir.

Hetero-association ve auto-association

İlişkilendirmeli öğrenmede iki temel durum vardır.

Hetero-association, bir girdi örüntüsünü farklı bir çıktı örüntüsüyle ilişkilendirir. Sınıflandırma ve regresyon bunun doğal örnekleridir.

Auto-association, girdiyi yine kendisiyle ilişkilendirir. Amaç eksik veya gürültülü girdiden özgün örüntüyü yeniden üretmek olabilir. Hopfield ağları ve autoencoder yaklaşımı bu düşünceyle ilişkilidir.

Öğrenme paradigması

Bir öğrenme sistemi yalnız ağ mimarisinden oluşmaz. Veri gösterimi, kayıp fonksiyonu, optimizasyon yöntemi, düzenlileştirme ve değerlendirme yöntemi birlikte öğrenme paradigmasını belirler.

Temel süreç şöyledir:

Problem ve hedef ölçüt belirlenir.
Veri hazırlanır.
Girdi ve çıktı gösterimi seçilir.
Model ve kayıp fonksiyonu belirlenir.
Parametreler eğitim verisiyle öğrenilir.
Hiperparametreler doğrulama verisiyle seçilir.
Nihai başarım daha önce kullanılmamış test verisiyle ölçülür.

Bu ayrım önemlidir. Test kümesi model seçimi için tekrar tekrar kullanılırsa ölçülen test başarımı taraflı hale gelir.

Örneklerden öğrenme

Yapay sinir ağlarının temel gücü örneklerden parametre öğrenebilmesidir. Bir öğretmenli veri kümesi genellikle

D = {(x1, y1), (x2, y2), ..., (xn, yn)}

biçiminde düşünülür. x girdi vektörünü, y hedef çıktıyı gösterir.

Modelin amacı yalnız eğitim örneklerini doğru üretmek değildir. Daha önce görmediği örneklerde de doğru sonuç vermesi gerekir. Bu özelliğe genelleme denir.

Öğrenme stratejileri

Yapay sinir ağlarında öğrenme stratejisi, modelin hangi geri bildirimle parametre değiştirdiğini belirler.

Öğretmenli öğrenmede hedef çıktı bilinir ve tahmin hatası doğrudan hesaplanabilir.

Öğretmensiz öğrenmede model benzerlik, yoğunluk, yeniden oluşturma hatası veya başka bir içsel ölçüte göre yapı öğrenir.

Pekiştirmeli öğrenmede ise tek tek doğru çıktı verilmez. Eylemlerin uzun dönemli sonuçları ödül sinyaliyle değerlendirilir.

Bu üç mekanizma birbirinden ayrılmalıdır. Örneğin LVQ, sınıf etiketlerinden yararlanan prototip tabanlı öğretmenli bir sınıflandırma yöntemidir; pekiştirmeli öğrenme yöntemi değildir.

Öğrenme kuralları

Öğrenme kuralı, model parametrelerinin nasıl değiştirileceğini belirler. Tarihsel sinir ağı çalışmalarında Hebb kuralı önemli bir başlangıç noktasıdır.

Hebb yaklaşımının yalın biçimi şudur:

Delta w_ij = eta * x_i * y_j

Burada eta öğrenme katsayısıdır. Birlikte etkinleşen iki birim arasındaki bağlantı güçlenir.

Modern öğretmenli derin ağlarda ağırlıklar çoğunlukla kayıp fonksiyonunun gradyanına göre değiştirilir:

w <- w - eta * dL/dw

Bu ifade gradyan inişinin temelidir. Stokastik gradyan inişi, momentum, RMSProp, Adam ve AdamW aynı temel optimizasyon probleminin farklı çözümleridir.

Ünite 2: Yapay Sinir Ağlarına Giriş

Yapay sinir ağlarının temel fikri

Yapay sinir ağı, birbirine bağlı işlem birimlerinden oluşan parametrik bir fonksiyon ailesidir. Ağ, girdiyi katmanlar boyunca dönüştürerek bir çıktı üretir. Öğrenme sırasında bağlantı ağırlıkları ve diğer parametreler değiştirilir.

Basit bir ağ şu işlevi yaklaşıklar:

y = f(x; theta)

Burada x girdi, y çıktı, theta ise öğrenilen parametrelerdir.

Yapay sinir ağlarının biyolojik sinir sisteminden esinlendiği doğrudur. Ancak güncel yapay sinir ağları biyolojik beynin ayrıntılı bir modeli değildir. Matematiksel ve hesaplamalı yapılardır.

Biyolojik sinir hücresi

Biyolojik nöronda dendritler başka hücrelerden sinyal alır. Soma gelen sinyalleri bütünleştirir. Akson ise hücrenin ürettiği sinyali diğer hücrelere taşır. Hücreler arasındaki iletişim sinapslar üzerinden gerçekleşir.

Bu yapı yapay nöron için yalnız bir esin kaynağıdır. Yapay ağlardaki ağırlık, aktivasyon ve katman kavramları biyolojik sinir sistemindeki yapılarla birebir eşleştirilemez.

Yapay ve biyolojik ağlar arasındaki ilişki

Yapay sinir ağlarının başarısı biyolojik gerçekçiliğe bağlı değildir. Bir model biyolojik olarak kaba olmasına rağmen mühendislik açısından etkili olabilir.

Bu nedenle iki amaç ayrılmalıdır:

beynin nasıl çalıştığını modellemek,
veriden yararlı işlevler öğrenen hesaplama sistemleri geliştirmek.

Modern makine öğrenmesindeki yapay sinir ağlarının ana hedefi ikincisidir.

Yapay sinir ağı tanımı

Bir yapay sinir ağı, bir veya daha fazla katmanda yer alan yapay nöronların ağırlıklı bağlantılarla oluşturduğu parametrik modeldir. Ağın davranışı şu bileşenlerle belirlenir:

topoloji,
ağırlıklar,
bias değerleri,
aktivasyon fonksiyonları,
kayıp fonksiyonu,
optimizasyon yöntemi.

Ağın öğrenmesi, bu parametrelerin veriye göre ayarlanmasıdır.

Eğitim, doğrulama ve test

Bir ağın eğitim verisinde düşük hata üretmesi tek başına yeterli değildir. Amaç görülmemiş veride başarılı olmaktır.

Veri çoğunlukla üç bölüme ayrılır:

Eğitim kümesi: Parametrelerin öğrenilmesinde kullanılır.

Doğrulama kümesi: Mimari, öğrenme katsayısı, düzenlileştirme gibi hiperparametrelerin seçiminde kullanılır.

Test kümesi: Son modelin tarafsız biçimde değerlendirilmesinde kullanılır.

Küçük veri kümelerinde çapraz doğrulama da kullanılabilir.

Adaptif öğrenme ve genelleme

Adaptif sistem, yeni gözlemler geldikçe parametrelerini değiştirebilir. Ancak her çevrim içi güncelleme yararlı değildir. Veri dağılımı değişirse modelin yeniden eğitilmesi veya kontrollü biçimde uyarlanması gerekebilir.

Genelleme, modelin eğitim örneklerini ezberlemek yerine altta yatan düzenlilikleri öğrenmesiyle ilgilidir.

Tarihsel gelişim

Yapay sinir ağlarının gelişiminde bazı temel dönüm noktaları şunlardır:

1943: McCulloch ve Pitts, basitleştirilmiş hesaplamalı nöron modelini tanımladı.
1949: Hebb, sinaptik öğrenmeye ilişkin etkili bir öğrenme ilkesini ortaya koydu.
1957-1958: Rosenblatt perceptron modelini geliştirdi.
1960: Widrow ve Hoff ADALINE ile LMS öğrenme yaklaşımını kullandı.
1969: Minsky ve Papert tek katmanlı perceptronların sınırlılıklarını sistematik biçimde tartıştı.
1970'ler ve 1980'ler: Hopfield, Kohonen, Grossberg ve Fukushima gibi araştırmacılar farklı ağ aileleri geliştirdi.
1986: Rumelhart, Hinton ve Williams geri yayılımın çok katmanlı ağ eğitimindeki etkisini geniş kitlelere taşıdı.
1990'lar: CNN ve LSTM gibi yapılar gelişti.
2000'lerin sonu ve 2010'lar: büyük veri, GPU hesaplama ve daha iyi optimizasyon teknikleri derin öğrenmeyi ölçeklendirdi.
2017 sonrası: attention ve Transformer mimarileri özellikle dil ve çok modlu modellemede merkezi hale geldi.

Bu tarih doğrusal bir ilerleme değildir. Birçok temel fikir daha eski çalışmalara dayanır ve farklı dönemlerde yeniden önem kazanmıştır.

Yapay sinir ağlarının genel özellikleri

Yapay sinir ağlarının temel özellikleri modelden modele değişir. Genel olarak şu yeteneklerden söz edilebilir:

doğrusal olmayan işlevleri yaklaşıklaştırma,
yüksek boyutlu veriden temsil öğrenme,
sınıflandırma ve regresyon,
dizisel bağımlılıkları modelleme,
görüntü, ses ve metin gibi yapılandırılmamış verileri işleme,
uçtan uca öğrenme.

Bu yetenekler garanti değildir. Başarım veri kalitesine, model kapasitesine, eğitim yöntemine ve dağılım uyumuna bağlıdır.

Bilginin ağda temsil edilmesi

Klasik sinir ağı anlatımında bilgi ağırlıklara dağılmıştır. Bu ifade genel olarak doğrudur ancak eksiktir. Modern ağlarda bilgi yalnız tek tek ağırlıklarda değil, ağırlıkların ortak oluşturduğu yüksek boyutlu temsillerde ve aktivasyon örüntülerinde ortaya çıkar.

Tek bir parametreye doğrudan tek bir anlam atamak çoğu zaman mümkün değildir. Temsiller dağıtık olabilir.

Eksik ve gürültülü veri

Sinir ağları eksik veya gürültülü girdilere karşı otomatik olarak dayanıklı değildir. Dayanıklılık eğitim verisine, veri artırmaya, model mimarisine ve eksik verinin nasıl ele alındığına bağlıdır.

Eksik değerler için maskeleme, imputasyon veya eksikliği açıkça modelleyen mimariler gerekebilir.

Açıklanabilirlik

Sinir ağları özellikle büyük ve derin olduğunda karar gerekçesini doğrudan anlaşılır kurallarla ifade etmez. Bu nedenle açıklanabilirlik önemli bir araştırma alanıdır.

Feature attribution, saliency, SHAP benzeri yöntemler, activation probing ve karşı-olgusal analiz gibi teknikler model davranışını incelemek için kullanılır. Ancak açıklama yöntemlerinin de sınırlılıkları vardır.

Yapay sinir ağlarının kullanım alanları

Yapay sinir ağları özellikle şu tür görevlerde etkilidir:

görüntü sınıflandırma ve nesne algılama,
konuşma tanıma ve ses işleme,
doğal dil işleme,
zaman serisi kestirimi,
anomali belirleme,
endüstriyel kalite denetimi,
tıbbi görüntü analizi,
öneri sistemleri,
kontrol ve robotik,
bilimsel makine öğrenmesi.

Her problem için sinir ağı kullanmak doğru değildir. Küçük tablosal veri, sıkı açıklanabilirlik şartı veya kapalı form çözüm bulunan problemler için daha basit yöntemler daha iyi olabilir.

Temel sınırlılıklar

Sinir ağlarının başlıca sınırlılıkları şunlardır:

yüksek veri gereksinimi,
yüksek hesaplama ve enerji maliyeti,
hiperparametre duyarlılığı,
dağılım değişimine duyarlılık,
adversarial örneklere açıklık,
açıklanabilirlik güçlüğü,
eğitim verisindeki önyargıları öğrenebilme,
kalibrasyon ve belirsizlik sorunları.

Model başarımı yalnız test doğruluğu ile değerlendirilmemelidir. Güvenilirlik, güvenlik, gecikme, maliyet ve bakım gereksinimi de mühendislik kararının parçasıdır.

Ünite 3: Yapay Sinir Ağlarının Yapısı ve Temel Elemanları

Yapay sinir ağının çalışması

Bir sinir ağı girdiyi ardışık dönüşümlerden geçirir. En temel yapay nöron için net girdi:

z = w1*x1 + w2*x2 + ... + wn*xn + b

şeklindedir.

Çıktı ise:

y = phi(z)

olarak hesaplanır. phi aktivasyon fonksiyonudur.

Bu iki işlem, ağırlıklı toplama ve doğrusal olmayan dönüşüm, çok sayıda katmanda tekrarlandığında karmaşık işlevler yaklaşıklaştırılabilir.

Yapay sinir hücresinin elemanları

Bir yapay nöron şu temel elemanlardan oluşur:

Girdiler: Önceki katmandan veya dış dünyadan gelen değerlerdir.

Ağırlıklar: Her girdinin nöron üzerindeki etkisini belirleyen öğrenilebilir parametrelerdir.

Bias: Karar sınırının orijinden bağımsız hareket edebilmesini sağlar.

Toplama işlemi: Ağırlıklı girdileri birleştirir.

Aktivasyon fonksiyonu: Nörona doğrusal olmayan davranış kazandırır.

Aktivasyon fonksiyonları

Tarihsel modellerde eşik, sigmoid ve hiperbolik tanjant yaygındır.

Sigmoid:

sigmoid(z) = 1 / (1 + exp(-z))

Hiperbolik tanjant:

tanh(z)

Modern derin ağlarda gizli katmanlarda ReLU ve türevleri yaygındır:

ReLU(z) = max(0, z)

Çok sınıflı sınıflandırmanın çıktı katmanında softmax kullanılabilir:

softmax(z_i) = exp(z_i) / sum_j exp(z_j)

Aktivasyon seçimi ağın gradyan akışını ve optimizasyon davranışını etkiler.

Katman yapısı

Klasik ileri beslemeli ağ üç işlevsel katman türüyle açıklanabilir.

Girdi katmanı: Girdi özelliklerini modele sunar.

Gizli katmanlar: Ara temsilleri oluşturur.

Çıktı katmanı: Göreve uygun nihai çıktıyı üretir.

Bir ağda gizli katman sayısı ve her katmanın genişliği model kapasitesini etkiler.

Öğrenme

Öğretmenli ağda eğitim iki temel aşamada düşünülür:

İleri geçişte ağ tahmini üretir.
Kayıp hesaplanır ve parametreler kaybı azaltacak yönde güncellenir.

Kayıp fonksiyonu göreve göre değişir. Regresyonda ortalama karesel hata, sınıflandırmada çapraz entropi sık kullanılan örneklerdir.

Regresyon için:

MSE = (1/N) * sum((y_i - yhat_i)^2)

Sınıflandırmada çapraz entropi modelin olasılık dağılımını hedef etiketlerle karşılaştırır.

Bilginin saklanması

Ağın öğrendiği bilgi parametrelerine dağılır. Eğitim sonrası ağırlıklar sabitlenerek inference yapılabilir. Ancak model parametrelerinin tek başına anlamlı olabilmesi çoğu zaman mümkün değildir. Ağın işlevi parametrelerin ortak etkisinden doğar.

Model aileleri

Ders kapsamında tarihsel ve temel model aileleri şunlardır:

perceptron,
ADALINE ve MADALINE,
çok katmanlı algılayıcı,
LVQ,
ART,
Hopfield ağları,
Kohonen SOM,
Elman tipi geri dönüşümlü ağlar.

Güncel ağ aileleri arasında ayrıca CNN, LSTM, GRU, Transformer, autoencoder, generative adversarial network ve diffusion modelleri bulunur.

Ünite 4: İlk Yapay Sinir Ağları

Tek katmanlı ağlar

Tek katmanlı ağlarda öğrenilebilir bağlantılar girdiden doğrudan çıktı birimlerine gider. Gizli katman bulunmaz.

Bu tür ağlar doğrusal karar sınırları öğrenebilir. Bir sınıflandırıcı için karar:

w^T x + b = 0

hiperdüzlemiyle ifade edilir.

İki sınıf bu hiperdüzlemle ayrılabiliyorsa problem doğrusal ayrılabilirdir.

Perceptron

Perceptron, ikili sınıflandırma için temel tarihsel modeldir. Net girdi:

z = w^T x + b

olarak hesaplanır. Çıktı bir eşik fonksiyonuyla belirlenir.

Örnek yanlış sınıflandırılmışsa ağırlıklar hedef sınıfa doğru değiştirilir. Basit güncelleme:

w <- w + eta * (t - y) * x

b <- b + eta * (t - y)

şeklindedir.

Veri doğrusal ayrılabilir ise perceptron öğrenme algoritması sonlu sayıda güncelleme sonunda ayıran bir çözüm bulabilir.

Perceptronun sınırlılığı

Tek katmanlı perceptron doğrusal ayrılamayan problemleri çözemez. XOR bunun klasik örneğidir.

XOR doğruluk tablosu:

0 0 -> 0
0 1 -> 1
1 0 -> 1
1 1 -> 0

Bu dört nokta tek bir doğrusal karar sınırıyla ayrılamaz.

Bu sınırlılık yapay sinir ağlarının genel olarak yetersiz olduğunu göstermez. Gizli katman ve doğrusal olmayan aktivasyon kullanıldığında XOR çözülebilir.

ADALINE

ADALINE, Widrow ve Hoff tarafından geliştirilen adaptif doğrusal birimdir. Perceptrondan önemli farkı, öğrenme sırasında eşiklenmiş sınıf çıktısı yerine nöronun doğrusal çıktısındaki hatayı kullanmasıdır.

Kayıp çoğunlukla karesel hata biçimindedir:

E = 1/2 * (t - y)^2

Ağırlık güncellemesi gradyan inişine dayanır:

w <- w + eta * (t - y) * x

Bu yaklaşım LMS veya Widrow-Hoff kuralıyla ilişkilidir.

MADALINE

MADALINE, birden fazla ADALINE biriminin birlikte kullanıldığı ağ ailesidir. Tarihsel olarak çok katmanlı adaptif sistemlerin erken örneklerinden biridir.

Bugün MADALINE yaygın bir genel amaçlı mimari değildir. Önemi, çok sayıda öğrenilebilir doğrusal birimin birlikte kullanılması ve adaptif filtreleme düşüncesinin sinir ağlarına taşınmasıdır.

Ünite 5: Öğretmenli Öğrenme ve Çok Katmanlı Algılayıcı

Çok katmanlı algılayıcı

Çok katmanlı algılayıcı, yani MLP, en az bir gizli katmana sahip ileri beslemeli sinir ağıdır. Gizli katmandaki doğrusal olmayan aktivasyonlar doğrusal ayrılamayan ilişkilerin öğrenilmesini sağlar.

Bir iki katmanlı ağ şöyle yazılabilir:

h = phi(W1*x + b1)

yhat = psi(W2*h + b2)

Burada h gizli temsildir.

XOR probleminin çözümü

XOR problemi tek doğrusal sınırla çözülemez. Ancak gizli katmandaki birden fazla nöron giriş uzayını farklı yarı uzaylara ayırabilir. Çıktı katmanı bu ara temsilleri birleştirerek XOR kararını oluşturabilir.

Bu örnek, gizli katmanın yalnız daha fazla parametre eklemediğini; yeni bir temsil uzayı oluşturduğunu gösterir.

İleri bilgi işleme

İleri geçişte her katman bir önceki katmanın çıktısını alır:

a^(l) = phi(W^(l) * a^(l-1) + b^(l))

Bu işlem çıktı katmanına kadar devam eder.

Tahmin ile hedef arasındaki fark kayıp fonksiyonuyla ölçülür.

Geri yayılım

Geri yayılım, kayıp fonksiyonunun her parametreye göre türevini zincir kuralıyla hesaplar. Temel amaç:

dL/dW^(l)

dL/db^(l)

gradyanlarını verimli biçimde elde etmektir.

Çıktı katmanındaki hata geriye doğru taşınır. Her katman kendi yerel türevi ile bir sonraki katmandan gelen gradyanı çarpar.

Parametre güncellemesi:

W <- W - eta * dL/dW

b <- b - eta * dL/db

biçimindedir.

Çıktı katmanı ağırlıklarının güncellenmesi

Çıktı katmanında hata doğrudan model tahminiyle hedef arasındaki farka bağlıdır. Sigmoid ve karesel hata için klasik türev yapısı:

delta_k = (t_k - y_k) * y_k * (1 - y_k)

şeklinde yazılabilir.

Güncel sınıflandırma uygulamalarında softmax ile çapraz entropi birlikte kullanıldığında türev daha yalın hale gelir.

Gizli katman ağırlıklarının güncellenmesi

Gizli nöronun doğrudan hedef değeri yoktur. Hata, kendisinden sonra gelen katmanların hatalarından zincir kuralıyla türetilir.

Klasik sigmoid nöron için:

delta_j = h_j * (1 - h_j) * sum_k(delta_k * w_jk)

Ağırlık güncellemesi daha sonra:

Delta w_ij = eta * delta_j * x_i

olarak yazılabilir.

Eğitim prosedürü

Bir MLP'nin temel eğitim çevrimi şöyledir:

Ağırlıkları başlat.
Mini-batch seç.
İleri geçiş yap.
Kayıp hesapla.
Geri yayılımla gradyanları bul.
Optimizer ile parametreleri güncelle.
Doğrulama başarımını izle.
Durdurma ölçütü sağlanana kadar sürdür.

Modern uygulamada tek örnekli çevrim yerine mini-batch eğitimi yaygındır.

Karmaşık hata yüzeyleri

Derin ağların kayıp yüzeyi yüksek boyutlu ve doğrusal değildir. Yerel minimumlar, eyer noktaları, düz bölgeler ve kötü ölçeklenmiş yönler optimizasyonu etkileyebilir.

Ağırlık başlangıcı, normalizasyon, optimizer ve öğrenme katsayısı bu nedenle kritiktir.

Öğrenme süresi

Eğitim süresini etkileyen başlıca etkenler şunlardır:

veri kümesinin büyüklüğü,
model parametre sayısı,
batch büyüklüğü,
donanım,
sayısal hassasiyet,
optimizer,
öğrenme katsayısı,
veri giriş hattı.

Performans yalnız FLOPS ile belirlenmez. Bellek bant genişliği, veri aktarımı ve paralellik de önemlidir.

Ünite 6: Çok Katmanlı Algılayıcı Tasarımı ve Performansı

Performansın ölçülmesi

Model başarımı probleme uygun ölçütlerle değerlendirilmelidir.

Sınıflandırmada sık kullanılan ölçütler:

accuracy,
precision,
recall,
F1,
ROC-AUC,
PR-AUC.

Regresyonda:

MAE,
MSE,
RMSE,
R².

Dengesiz sınıflarda yalnız accuracy yanıltıcı olabilir. Ölçüt seçiminde hata türlerinin uygulamadaki maliyeti dikkate alınmalıdır.

Ezberleme ve aşırı uyum

Model eğitim verisinde çok başarılı, görülmemiş veride zayıf ise overfitting vardır.

Aşırı uyumun temel nedenleri:

modele göre az veri,
fazla model kapasitesi,
uzun eğitim,
veri sızıntısı,
eğitim ve gerçek kullanım dağılımlarının farklı olması.

Karşı önlemler:

daha fazla ve daha iyi veri,
veri artırma,
L1/L2 düzenlileştirme,
dropout,
early stopping,
uygun model kapasitesi,
çapraz doğrulama.

Örneklerin seçilmesi

Eğitim verisi gerçek problem uzayını temsil etmelidir. Yalnız kolay veya benzer örneklerin seçilmesi modelin sahadaki başarımını düşürür.

Veri bölme işlemi rastgele yapılmadan önce bağımlılık yapısı incelenmelidir. Aynı kişi, aynı cihaz, aynı zaman penceresi veya aynı kaynak hem eğitim hem test kümesine dağılırsa veri sızıntısı oluşabilir.

Zaman serilerinde geçmişten geleceğe doğru bölme çoğu zaman rastgele bölmeden daha doğrudur.

Girdi ve çıktı gösterimi

Modelin başarısı yalnız mimariye değil, problemin gösterimine de bağlıdır.

Tablosal veride sayısal ve kategorik özellikler uygun biçimde kodlanmalıdır.

Görüntüde piksel veya öğrenilmiş görsel temsil kullanılır.

Metinde token ve embedding gösterimleri kullanılır.

Seste waveform, spektrogram veya öğrenilmiş özellikler kullanılabilir.

Gösterim, modelin öğrenmesi gereken invariance ve bağımlılıklarla uyumlu olmalıdır.

Görüntü tanıma

Görüntülerin doğrudan tam bağlı MLP'ye verilmesi küçük örneklerde öğretici olsa da modern görsel sistemlerde CNN ve Vision Transformer gibi mimariler daha uygundur.

CNN yerel bağlantı ve ağırlık paylaşımı sayesinde görüntünün uzamsal yapısından yararlanır.

Endüstriyel kestirim örneği

Bir üretim prosesinde çok sayıda ayar parametresi ile kalite çıktısı arasında doğrusal olmayan ilişki olabilir. Sinir ağı bu ilişkiyi deney verisinden öğrenebilir ve denenmemiş parametre kombinasyonlarının çıktısını kestirebilir.

Ancak eğitim verisinin kapsamadığı bölgelerde yapılan kestirim extrapolation niteliğindedir ve güvenilirliği düşebilir. Optimizasyon amacıyla ağ kullanılırken bu sınır özellikle dikkate alınmalıdır.

Zaman serisi kestirimi

Döviz kuru gibi zaman serilerinde geçmiş değerlerden gelecek değer tahmin edilebilir. Ancak finansal seriler durağan olmayabilir ve güçlü gürültü içerir. Başarılı görünen sonuçlar veri sızıntısı, yanlış zaman bölmesi veya aşırı uyum nedeniyle yanıltıcı olabilir.

Zaman serisinde değerlendirme kronolojik ayrım, rolling validation ve gerçek işlem maliyetleriyle yapılmalıdır.

Çıktıların gösterimi

İkili sınıflandırmada tek sigmoid çıkış kullanılabilir.

Çok sınıflı sınıflandırmada sınıf sayısı kadar logit ve softmax yaygındır.

Çok etiketli sınıflandırmada her sınıf için bağımsız sigmoid kullanılabilir.

Regresyonda çıkış çoğu zaman doğrusal bırakılır.

Çıktı aktivasyonu ile kayıp fonksiyonu birlikte düşünülmelidir.

Ağırlık başlangıcı

Tüm ağırlıkları aynı değere kurmak simetri sorununa neden olur. Gizli nöronlar aynı gradyanı alabilir.

Bu nedenle rastgele fakat kontrollü başlangıç kullanılır. Xavier/Glorot başlangıcı sigmoid ve tanh ailesiyle, He başlangıcı ReLU ailesiyle yaygın olarak kullanılır.

Başlangıcın amacı aktivasyonların ve gradyanların katmanlar boyunca aşırı büyümemesini veya sönmemesini sağlamaktır.

Öğrenme katsayısı ve momentum

Öğrenme katsayısı çok küçükse eğitim yavaşlar. Çok büyükse kayıp salınabilir veya eğitim kararsız hale gelebilir.

Momentum geçmiş gradyan yönlerini biriktirerek bazı yönlerde ilerlemeyi hızlandırabilir:

v_t = beta * v_(t-1) + g_t

w_t = w_(t-1) - eta * v_t

Modern optimizerlar öğrenme katsayısını parametre bazında uyarlayabilir. Yine de temel öğrenme katsayısı çoğu zaman en kritik hiperparametrelerden biridir.

Örneklerin ağa sunulması

Eğitim örnekleri epoch'lar arasında karıştırılabilir. Mini-batch seçimi gradyan tahminine rastlantısallık katar.

Zaman serisi, sıralı veri veya stateful recurrent ağlarda sıra bilgisi korunabilir. Dolayısıyla "her zaman karıştır" kuralı yoktur.

Ağırlıkların değiştirilme zamanı

Üç temel yaklaşım vardır:

Batch gradient descent: Tüm veri üzerinden tek güncelleme.

Stochastic gradient descent: Her örnekten sonra güncelleme.

Mini-batch gradient descent: Küçük örnek gruplarından sonra güncelleme.

Güncel derin öğrenmede mini-batch yaklaşımı donanım paralelliği ve gradyan istatistikleri nedeniyle yaygındır.

Girdilerin ölçeklendirilmesi

Farklı büyüklüklerde özellikler optimizasyonu zorlaştırabilir.

Yaygın yöntemler:

standardizasyon: (x - mean) / std,
min-max ölçekleme,
sağlam ölçekleme.

Ölçekleme parametreleri yalnız eğitim verisinden hesaplanmalıdır. Test verisinin istatistiklerini eğitim aşamasında kullanmak veri sızıntısıdır.

Çıktıların ölçeklendirilmesi

Regresyon hedefleri çok geniş aralıktaysa çıktıların ölçeklenmesi eğitimi kolaylaştırabilir. Tahmin kullanım aşamasında özgün ölçeğe geri dönüştürülür.

Sınıflandırmada hedef gösterimi kayıp fonksiyonuna göre belirlenir.

Durdurma kriterleri

Yalnız eğitim hatasının belirli değerin altına düşmesi güvenilir bir durdurma ölçütü değildir.

Daha iyi yaklaşım doğrulama kaybını izlemektir. Doğrulama başarımı belirli süre iyileşmiyorsa early stopping uygulanabilir.

Ayrıca maksimum epoch, zaman bütçesi ve hedef ölçüt birlikte kullanılabilir.

Gizli katman ve nöron sayısı

Her problem için en iyi katman ve nöron sayısını veren kapalı form kural yoktur. Model kapasitesi doğrulama başarımı ve kaynak maliyetiyle seçilir.

Çok küçük model underfitting yapabilir. Gereğinden büyük model daha pahalıdır ve uygun düzenlileştirme yoksa aşırı uyuma açık olabilir.

Büyütme ve budama

Model kapasitesi eğitim sırasında veya sonrasında değiştirilebilir.

Büyütme, yetersiz kapasiteyi gidermek için yeni birimler veya katmanlar eklemektir.

Budama, düşük öneme sahip ağırlık veya yapıların kaldırılmasıdır.

Modern budama yöntemleri sıkıştırma ve inference hızlandırma amacıyla da kullanılır. Yapısal budama, donanım üzerinde gerçek hız kazanımı sağlama açısından tek tek ağırlık sıfırlamaktan daha etkili olabilir.

Uygulama alanları

MLP özellikle sabit boyutlu vektör girdilerde temel bir modeldir. Sınıflandırma, regresyon ve ara temsil katmanı olarak yaygın biçimde kullanılır.

Görüntü, ses ve uzun dizilerde ise problem yapısını kullanan CNN, recurrent ağ veya Transformer gibi mimariler çoğu zaman daha uygundur.

Ünite 7: Çok Katmanlı Algılayıcı ile Endüstriyel Kestirim

Problemin tanımlanması

Bir yapay sinir ağı uygulamasında ilk adım ağ seçmek değil, problemi açık biçimde tanımlamaktır. Endüstriyel bir üretim sürecinde amaç çoğu zaman kalite karakteristiğini etkileyen proses değişkenleri ile sonuç arasındaki ilişkiyi öğrenmektir.

Klasik örnekte bir döküm prosesinde tüplerde oluşan sehim miktarını etkileyen yedi üretim faktörü ele alınır. Her faktörün iki düzeyi olduğunda tam faktöriyel deney uzayı:

2^7 = 128

kombinasyon içerir.

Bütün kombinasyonları fiziksel olarak denemek pahalı olabilir. Bu nedenle daha az sayıdaki deneyden elde edilen verilerle bir MLP eğitilip denenmemiş kombinasyonların kalite çıktısı kestirilebilir.

Deney tasarımı ile öğrenme ilişkisi

Sinir ağı fiziksel deneyin yerini otomatik olarak almaz. Ağ yalnız kendisine sunulan veri üzerinden ilişki öğrenir. Bu nedenle deney tasarımı zayıfsa model de zayıf olur.

İyi bir tasarım şu özellikleri taşımalıdır:

faktör uzayını yeterince kapsamalı,
etkileşimleri gözlemlemeye imkan vermeli,
ölçüm gürültüsünü dikkate almalı,
doğrulama için bağımsız deneyler içermeli.

Az sayıda örnekten çok sayıda kombinasyona kestirim yapmak güçlü bir varsayımdır. Modelin önerdiği optimum nokta bağımsız fiziksel deneyle doğrulanmalıdır.

Girdi ve çıktı tasarımı

Yedi faktörlü örnekte giriş vektörü:

x = [A, B, C, D, E, F, G]

şeklinde tanımlanabilir.

Çıkış ise sehim miktarıdır:

y = sehim

İki seviyeli faktörler 0/1, -1/+1 veya fiziksel değerleriyle gösterilebilir. Kullanılan kodlama eğitim ve kullanım aşamasında aynı olmalıdır.

Ağın eğitilmesi

MLP eğitiminde amaç deney sonuçları ile ağ tahminleri arasındaki hatayı azaltmaktır. Eğitim hatasının sıfıra yaklaşması modelin doğru genelleme yaptığı anlamına gelmez.

Bu tür küçük veri problemlerinde özellikle:

leave-one-out veya k-fold doğrulama,
tekrarlı fiziksel deney,
basit regresyon modelleriyle karşılaştırma,
belirsizlik analizi

gereklidir.

Optimizasyon için model kullanımı

Model yeterince doğrulandıktan sonra aday proses ayarları ağ üzerinden taranabilir. En düşük tahmini kalite kaybını veren kombinasyon aday optimum olarak seçilebilir.

Ancak model yalnız veri dağılımının kapsadığı bölgelerde güvenilir kabul edilmelidir. Eğitim uzayının dışına çıkıldığında ağın ürettiği sayı fiziksel olarak anlamlı olmak zorunda değildir.

Bu yaklaşımın temel değeri, pahalı fiziksel deney sayısını azaltmak ve deney tasarımına yön vermektir.

Ünite 8: Learning Vector Quantization

LVQ modelinin amacı

Learning Vector Quantization, kısaca LVQ, prototip tabanlı öğretmenli bir sınıflandırma yöntemidir. Her sınıf giriş uzayında bir veya daha fazla referans vektörüyle temsil edilir.

Yeni örnek, kendisine en yakın prototipin sınıfına atanır.

Bu nedenle LVQ'nun temelinde iki fikir vardır:

en yakın prototip ile sınıflandırma,
prototiplerin etiketli eğitim verisine göre uyarlanması.

LVQ ağının yapısı

Bir LVQ sistemi kavramsal olarak şu bileşenlerden oluşur:

Girdi katmanı: Özellik vektörünü alır.

Rekabetçi katman: Prototip vektörlerini tutar ve en yakın prototipi belirler.

Sınıf eşleme katmanı: Kazanan prototipi sınıf etiketine dönüştürür.

Her prototip:

w_i = [w_i1, w_i2, ..., w_in]

şeklinde girişle aynı boyutta bir vektördür.

Uzaklık hesabı

Klasik LVQ'da çoğunlukla Öklid uzaklığı kullanılır:

d_i = ||x - w_i||

Kazanan prototip:

c = argmin_i d_i

olarak seçilir.

Özelliklerin ölçekleri farklıysa uzaklık hesabı bozulabilir. Bu nedenle LVQ öncesinde normalizasyon veya standardizasyon önemlidir.

LVQ1 öğrenme kuralı

Kazanan prototip doğru sınıfa aitse girişe yaklaştırılır:

w_c(t+1) = w_c(t) + alpha(t) * (x - w_c(t))

Kazanan prototip yanlış sınıfa aitse girişten uzaklaştırılır:

w_c(t+1) = w_c(t) - alpha(t) * (x - w_c(t))

Diğer prototipler değiştirilmez.

Öğrenme katsayısı alpha(t) zamanla azaltılabilir.

Karar bölgeleri

Her prototip giriş uzayında bir Voronoi bölgesi oluşturur. Sınıf sınırları komşu prototiplerin konumlarıyla belirlenir.

Bu yapı LVQ'yu yorumlanabilir kılar. Prototipler gerçek özellik uzayında bulunduğu için sınıfın tipik temsilcileri olarak incelenebilir.

LVQ2 ve sınır düzeltme

LVQ2 ailesi özellikle sınıf sınırına yakın örneklerde iki prototipi birlikte günceller. Doğru sınıfa ait prototip girişe yaklaştırılırken yanlış sınıfa ait prototip uzaklaştırılır.

Amaç sınıf sınırlarını daha iyi konumlandırmaktır.

LVQ2.1 ve LVQ3 gibi varyantlar güncelleme koşullarını değiştirerek kararlılığı ve sınıf sınırı temsilini iyileştirmeye çalışır.

Cezalandırılmış LVQ

Rekabetçi öğrenmede bazı prototipler sürekli kazanırken bazıları hiç güncellenmeyebilir. Cezalandırma mekanizmaları aşırı kazanan prototiplerin avantajını azaltarak kullanılmayan prototiplere öğrenme şansı vermeyi amaçlar.

Bu fikir rekabetçi öğrenmede prototip kullanımını dengelemeye yöneliktir.

LVQ-X

LVQ-X, her iterasyonda global ve sınıf içi yerel kazananı birlikte ele alan bir LVQ varyantıdır.

Global kazanan, giriş vektörüne bütün prototipler içinde en yakın olandır.

Yerel kazanan, doğru sınıfa ait prototipler içinde girişe en yakın olandır.

Global kazanan yanlış sınıftaysa bu prototip girişten uzaklaştırılır. Aynı anda doğru sınıftaki yerel kazanan girişe yaklaştırılır. İki kazanan aynı prototipse yalnız bu prototip girişe yaklaştırılır.

Yaklaşımın amacı yanlış sınıf prototipini karar bölgesinden uzaklaştırırken doğru sınıf prototipini aynı örneğe doğru çekmektir.

LVQ'nun güçlü ve zayıf yönleri

Güçlü yönleri:

basit karar mekanizması,
prototiplerin yorumlanabilir olması,
düşük inference maliyeti,
doğrusal olmayan sınıf sınırları oluşturabilmesi.

Sınırlılıkları:

uzaklık metriğine duyarlılık,
ölçeklendirme gereksinimi,
prototip sayısının önceden seçilmesi,
yüksek boyutta Öklid uzaklığının anlamını kaybedebilmesi,
karmaşık temsilleri kendiliğinden öğrenememesi.

Güncel derin öğrenmede özellikler çoğu zaman ayrı bir ağla öğrenilir. LVQ ise özellikle prototip tabanlı sınıflandırma ve yorumlanabilir modelleme açısından öğretici önem taşır.

Ünite 9: LVQ ile Örüntü Tanıma

İstatistiksel kalite kontrol problemi

İstatistiksel proses kontrolünde amaç yalnız hatalı ürünü ayırmak değil, prosesin olağan dışı davranmaya başladığını erken belirlemektir.

Bir kalite karakteristiğinin zaman içindeki değerleri kontrol grafiğinde izlenebilir. Süreçteki özel nedenler farklı örüntüler oluşturabilir:

ortalama kayması,
artan veya azalan trend,
çevrimsel davranış,
sistematik değişim,
olağan dışı varyans.

Bu örüntülerin otomatik tanınması bir sınıflandırma problemine dönüştürülebilir.

Örnek vektörlerinin oluşturulması

Kontrol grafiğinden ardışık n ölçüm alınarak bir giriş vektörü oluşturulabilir:

x = [x1, x2, ..., xn]

Her vektör bilinen bir proses durumuyla etiketlenir.

Örnek sınıflar:

normal,
yukarı trend,
aşağı trend,
yukarı kayma,
aşağı kayma.

LVQ prototipleri bu sınıfların tipik şekillerini temsil edecek biçimde öğrenir.

Eğitim

Eğitim sürecinde her kontrol örüntüsü ağa verilir. En yakın prototip bulunur. Prototipin sınıfına göre yaklaştırma veya uzaklaştırma işlemi uygulanır.

Eğitimin sonunda yeni bir örüntü en yakın prototipe göre sınıflandırılır.

Değerlendirme

Bir örüntü tanıma sisteminde yalnız eğitim başarımı ölçülmemelidir. Karışıklık matrisi üzerinden hangi proses bozukluklarının birbirine karıştırıldığı incelenmelidir.

Özellikle erken arıza belirlemede iki hata farklı maliyet taşır:

yanlış alarm,
gerçek bozukluğu kaçırma.

Bu nedenle precision, recall ve sınıf bazlı hata oranları önemlidir.

Güncel yaklaşım

LVQ düşük boyutlu ve önceden çıkarılmış özelliklerde kullanılabilir. Daha karmaşık sensör dizilerinde CNN, recurrent ağ veya Transformer tabanlı zaman serisi modelleri tercih edilebilir.

Yine de problem kurma biçimi değişmez:

Süreç durumlarını tanımla.
Gözlem penceresini oluştur.
Eğitim ve test verisini ayır.
Modeli eğit.
Yanlış alarm ve kaçırma maliyetlerini ölç.
Gerçek üretim koşullarında doğrula.

Ünite 10: Adaptif Rezonans Teorisi Ağları

Kararlılık ve plastisite problemi

Öğretmensiz öğrenmede önemli sorunlardan biri yeni bilgiyi öğrenirken eski bilgiyi korumaktır.

Sistem çok plastikse yeni örnekler eski sınıfları sürekli değiştirir.

Sistem çok kararlıysa yeni örüntüleri öğrenemez.

Bu gerilim stability-plasticity dilemma olarak bilinir.

Adaptive Resonance Theory, yani ART, bu probleme yönelik bir sinir ağı ailesidir.

ART'nin temel yaklaşımı

ART ağı yeni girdiyi mevcut kategorilerle karşılaştırır.

Yeterli benzerlik varsa girdi mevcut kategoriye atanır ve kategori prototipi güncellenir.

Benzerlik yetersizse mevcut aday reddedilir ve başka kategori aranır. Uygun kategori bulunamazsa yeni kategori oluşturulur.

Bu davranışta vigilance parametresi kritik rol oynar.

Yüksek vigilance daha ince sınıflar üretir.

Düşük vigilance daha geniş örüntüleri aynı sınıfta birleştirir.

F1 ve F2 katmanları

Klasik ART mimarisinde iki temel katman vardır.

F1 karşılaştırma katmanı, giriş örüntüsünü ve üstten gelen kategori beklentisini karşılaştırır.

F2 tanıma katmanı, kategori birimlerini içerir. Birimler rekabet eder ve kazanan kategori belirlenir.

F1 ile F2 arasında aşağıdan yukarı ve yukarıdan aşağı bağlantılar bulunur.

Rezonans ve reset

Kazanan kategori girdiyi yeterince iyi açıklıyorsa sistem rezonans durumuna geçer. Ağırlıklar güncellenir.

Benzerlik vigilance eşiğinin altındaysa reset mekanizması bu kategoriyi geçici olarak devre dışı bırakır. Ağ sonraki en uygun kategoriyi dener.

Bu çevrim uygun kategori bulunana veya yeni kategori oluşturulana kadar devam eder.

ART1

ART1 ikili giriş örüntüleri için geliştirilmiştir.

Girdi:

x in {0,1}^n

şeklindedir.

Kategori benzerliği ortak etkin bitlerin miktarı üzerinden değerlendirilebilir. Kavramsal vigilance koşulu:

match(x, w_j) >= rho

biçimindedir.

rho vigilance parametresidir.

ART1'in amacı benzer ikili örüntüleri çevrim içi biçimde kategorilere ayırmaktır.

ART2

ART2 sürekli değerli girişler için geliştirilmiştir. Girdi normalizasyonu ve daha ayrıntılı F1 dinamikleri kullanır.

Temel prensip yine aynıdır:

Girdiyi al.
Mevcut kategorilerle karşılaştır.
En uygun kategoriyi seç.
Vigilance koşulunu sınar.
Uygunsa öğren.
Değilse kategoriyi resetle ve yeniden ara.

ART ağlarının özellikleri

ART ailesinin güçlü yönleri:

çevrim içi kategori oluşturabilme,
yeni örüntülere uyum,
mevcut kategorileri tamamen unutmadan öğrenme amacı,
küme sayısının baştan kesin bilinmesini gerektirmemesi.

Sınırlılıkları:

vigilance parametresine yüksek duyarlılık,
örnek sırasına duyarlılık,
modern yüksek boyutlu temsillerde doğrudan kullanımın sınırlı olması.

ART günümüzde derin öğrenmenin ana akım mimarilerinden biri değildir. Ancak çevrim içi öğrenme, kategori oluşumu ve catastrophic forgetting problemini anlamak için önemlidir.

Ünite 11: ART1 ile Grup Teknolojisi Uygulaması

Grup teknolojisi

Grup teknolojisi, benzer üretim gereksinimlerine sahip parçaları ve bu parçaları işleyen makineleri hücreler halinde düzenlemeyi amaçlar.

Amaçlar:

parça taşıma mesafesini azaltmak,
ara stokları azaltmak,
makine kullanımını düzenlemek,
üretim akışını sadeleştirmek.

Problem ikili makine-parça matrisiyle gösterilebilir.

a_ij = 1 ise parça j, makine i üzerinde işlem görür.

a_ij = 0 ise görmez.

ART1 ile sınıflandırma

Her makine, işlediği parçaları gösteren ikili vektörle temsil edilebilir.

Örnek:

M1 = [1, 1, 0, 0, 1]
M2 = [1, 1, 0, 0, 0]
M3 = [0, 0, 1, 1, 0]

ART1 benzer işlem profillerine sahip makineleri aynı kategoriye yerleştirebilir.

Bu kategoriler üretim hücreleri için aday gruplar oluşturur.

İteratif çalışma

Her giriş vektörü için:

En uygun mevcut kategori belirlenir.
Eşleşme vigilance eşiğiyle karşılaştırılır.
Eşik sağlanırsa kategori prototipi güncellenir.
Sağlanmazsa kategori reddedilir.
Başka kategori denenir veya yeni kategori açılır.

Örnekler ağa tekrar sunulduğunda kategoriler kararlı hale gelebilir.

Mühendislik değerlendirmesi

Yalnız sınıflandırma sonucu üretim sistemi için yeterli değildir. Hücre tasarımında ayrıca:

makine kapasitesi,
operasyon sırası,
üretim hacmi,
taşıma maliyeti,
darboğazlar,
bakım planları

gibi kısıtlar bulunur.

Bu nedenle ART1 sınıflandırması karar destek girdisi olarak düşünülebilir. Nihai üretim hücresi tasarımı çok ölçütlü bir optimizasyon problemidir.

Ünite 12: Geri Dönüşümlü Ağlar ve Elman Ağı

Geri dönüşümlü ağ kavramı

İleri beslemeli ağda çıktı yalnız mevcut girdinin katmanlardan geçirilmesiyle hesaplanır. Zaman bağımlılığı doğrudan temsil edilmez.

Recurrent Neural Network, yani RNN, geçmiş durumu mevcut hesaplamaya dahil eder:

h_t = phi(W_x*x_t + W_h*h_(t-1) + b)

y_t = psi(W_y*h_t + c)

Burada h_t ağın zamana bağlı gizli durumudur.

Bu yapı dizisel verilerde belleğe benzer bir davranış sağlar.

Elman ağı

Elman ağı kısmi geri beslemeli klasik RNN yapısıdır. Gizli katmanın bir önceki zamandaki çıktısı context unit adı verilen birimlerde tutulur ve bir sonraki adımda girişe eklenir.

Temel ilişki:

h_t = phi(W_x*x_t + W_c*h_(t-1) + b_h)

y_t = psi(W_y*h_t + b_y)

şeklindedir.

Bu nedenle ağın t anındaki çıktısı yalnız x_t girdisine değil, geçmişten taşınan h_(t-1) durumuna da bağlıdır.

Çalışma prensibi

Her zaman adımında:

Mevcut girdi alınır.
Önceki gizli durum context girişine eklenir.
Gizli katman hesaplanır.
Çıktı üretilir.
Yeni gizli durum bir sonraki zaman adımı için saklanır.

Başlangıç gizli durumu sıfır veya sabit bir değer olabilir.

Zaman boyunca geri yayılım

RNN eğitiminde aynı ağ zaman ekseni boyunca açılmış gibi düşünülür. Kayıp gradyanı geçmiş adımlara doğru aktarılır. Bu yöntem Backpropagation Through Time, BPTT olarak bilinir.

Uzun dizilerde gradyanlar tekrar tekrar aynı tür Jacobian çarpımlarından geçtiği için küçülebilir veya büyüyebilir.

Bunlar:

vanishing gradient,
exploding gradient

problemleridir.

Gradient clipping büyüyen gradyanları sınırlamak için kullanılabilir.

LSTM ve GRU

Elman tipi basit RNN uzun dönemli bağımlılıkları öğrenmede zorlanabilir.

LSTM, hücre durumu ve kapı mekanizmalarıyla bilgi akışını denetler. Girdi, unutma ve çıktı kapıları uzun dönemli gradyan akışını iyileştirmeyi amaçlar.

GRU benzer amacı daha az kapıyla gerçekleştirir.

Bu yapılar uzun yıllar konuşma, dil ve zaman serisi problemlerinde temel mimariler arasında yer almıştır.

Transformer ile ilişki

Transformer dizisel bağımlılığı recurrence yerine attention mekanizmasıyla modeller. Böylece eğitim sırasında dizinin farklı konumları daha yüksek paralellikle işlenebilir.

Bu nedenle büyük ölçekli dil modellerinde ve birçok çok modlu uygulamada Transformer ailesi RNN'lerin yerini büyük ölçüde almıştır.

Buna rağmen RNN ve Elman ağı önemini korur. Çünkü durum, geri besleme, zaman bağımlılığı ve BPTT kavramlarını yalın biçimde öğretir.

Ünite 13: Yapay Sinir Ağlarının Uygulamaları

Uygulama seçimi

Bir yapay sinir ağı kullanılmadan önce problemin öğrenmeye uygun olup olmadığı belirlenmelidir.

Uygun problemler çoğunlukla şu özelliklerden bazılarını taşır:

doğrusal olmayan ilişki,
yüksek boyutlu veri,
çok sayıda örnek,
elle kural yazmanın güç olması,
gürültülü ölçümler,
karmaşık örüntüler.

Buna karşılık açık ve doğrulanmış algoritmik çözümü bulunan basit problem için sinir ağı gereksiz olabilir.

Endüstriyel uygulamalar

Endüstride yapay sinir ağları:

kalite kontrol,
kestirimci bakım,
arıza tanıma,
proses modelleme,
sensör füzyonu,
talep tahmini,
robotik görme

gibi alanlarda kullanılabilir.

Endüstriyel sistemlerde doğruluk kadar gecikme, deterministik davranış, veri kayması ve hata durumundaki güvenli davranış önemlidir.

Finansal uygulamalar

Finans alanında kullanım örnekleri:

risk tahmini,
dolandırıcılık belirleme,
kredi skorlama,
zaman serisi modelleme,
belge ve haber analizi.

Finansal veride geçmiş başarım gelecekteki başarımı garanti etmez. Rejim değişimi, veri sızıntısı ve seçilim yanlılığı model değerlendirmesinde kritik risklerdir.

Askeri ve güvenlik uygulamaları

Sinir ağları sensör verilerinin yoğun olduğu güvenlik ve savunma sistemlerinde kullanılabilir:

hedef sınıflandırma,
iz takibi,
radar ve görüntü işleme,
sensör füzyonu,
anomali belirleme,
rota ve kaynak optimizasyonu.

Bu tür sistemlerde yanlış pozitif ve yanlış negatif maliyetleri farklıdır. Model başarımı operasyonel koşullarda, dağılım değişimi ve adversarial etkiler dikkate alınarak değerlendirilmelidir.

Sağlık uygulamaları

Sağlık alanında:

tıbbi görüntü analizi,
biyosinyal sınıflandırma,
klinik risk tahmini,
karar destek,
ilaç ve biyomolekül modelleme

gibi kullanım alanları vardır.

Klinik kullanımda model doğruluğu tek başına yeterli değildir. Veri temsil adaleti, kalibrasyon, dış doğrulama ve insan gözetimi gerekir.

Görüntü ve ses işleme

Sinir ağlarının en başarılı olduğu alanlardan biri örüntü tanımadır.

Görüntüde CNN ve Vision Transformer aileleri;

seste CNN, recurrent ağlar ve Transformer tabanlı modeller;

metinde ise büyük ölçüde Transformer tabanlı modeller kullanılır.

Model seçimi veri türünün yapısına göre yapılmalıdır.

Avantajlar

karmaşık doğrusal olmayan ilişkileri öğrenebilme,
temsil öğrenebilme,
yüksek boyutlu veride çalışabilme,
uçtan uca optimizasyon,
büyük veri ve paralel donanımla ölçeklenebilme.

Dezavantajlar

eğitim maliyeti,
veri bağımlılığı,
açıklanabilirlik sınırlılıkları,
dağılım değişimine duyarlılık,
model ve veri önyargıları,
adversarial saldırılara açıklık,
büyük modellerde yüksek bellek ve enerji tüketimi.

Mühendislik açısından en iyi model en büyük model değildir. Gereksinimi en düşük toplam maliyetle ve yeterli güvenilirlikle karşılayan modeldir.

Ünite 14: Diğer Modeller ve Güncel Yaklaşımlar

Hopfield ağı

Hopfield ağı tamamen bağlı recurrent bir ağdır. Klasik biçiminde simetrik ağırlıklarla çalışır ve bir enerji fonksiyonunu azaltan dinamik sistem olarak yorumlanabilir.

Temel kullanım alanı çağrışımsal bellektir. Eksik veya bozulmuş örüntü ağın kararlı durumlarından birine çekilebilir.

Hopfield ağları modern derin öğrenmenin ana mimarisi değildir. Ancak enerji tabanlı modeller ve çağrışımsal bellek açısından temel tarihsel öneme sahiptir.

Counterpropagation ağı

Counterpropagation ağı rekabetçi Kohonen katmanı ile öğretmenli Grossberg çıkış katmanını birleştirir.

Kohonen katmanı giriş uzayında prototip seçimi yapar. Grossberg katmanı kazanan prototipi hedef çıktıyla eşler.

Bu yapı hızlı prototip tabanlı fonksiyon yaklaşımı olarak düşünülebilir.

Cognitron ve Neocognitron

Fukushima'nın Cognitron ve Neocognitron modelleri görsel örüntü tanıma tarihinde önemlidir.

Neocognitron yerel alıcı alanlar, hiyerarşik özellik çıkarımı ve konum değişimlerine karşı dayanıklılık fikirlerini kullanır. Bu kavramlar daha sonra modern convolutional neural network tasarımında merkezi hale gelmiştir.

Self-Organizing Map

Kohonen Self-Organizing Map, öğretmensiz rekabetçi öğrenme yöntemidir. Yüksek boyutlu veriyi genellikle iki boyutlu bir harita üzerinde topolojik komşuluğu mümkün olduğunca koruyarak temsil etmeye çalışır.

Kazanan nöron ve komşuları girdiye doğru güncellenir:

w_i <- w_i + alpha * h_ci * (x - w_i)

Burada h_ci kazanan nörona topolojik uzaklığa bağlı komşuluk fonksiyonudur.

SOM kümeleme, görselleştirme ve keşifsel veri analizi için öğretici önem taşır.

Radyal tabanlı ağlar

Radial Basis Function Network gizli katmanda giriş ile merkezler arasındaki uzaklığa bağlı aktivasyonlar kullanır.

Gaussian RBF için:

phi_i(x) = exp(-||x-c_i||^2 / (2*sigma_i^2))

Çıkış genellikle bu taban fonksiyonlarının doğrusal birleşimidir.

RBF ağları yerel yaklaşım özellikleri nedeniyle regresyon ve sınıflandırmada kullanılabilir.

Olasılıksal sinir ağları

Probabilistic Neural Network sınıf koşullu yoğunluk kestirimi ve Bayes karar kuralıyla ilişkilidir. Eğitim hızlı olabilir ancak örnek sayısı büyüdükçe inference maliyeti artabilir.

Boltzmann makineleri

Boltzmann machine stokastik, enerji tabanlı bir ağ ailesidir. Restricted Boltzmann Machine görünür ve gizli birimler arasında iki parçalı bağlantı yapısı kullanarak öğrenmeyi daha yönetilebilir hale getirir.

Derin öğrenmenin erken dönem yeniden canlanmasında RBM ve Deep Belief Network çalışmaları etkili olmuştur. Güncel büyük ölçekli sistemlerde ise ana akım model ailesi değildir.

Convolutional Neural Network

CNN, görüntü gibi düzenli ızgara verilerinde yerel bağlantı ve ağırlık paylaşımı kullanır.

Bir filtre aynı ağırlıklarla farklı uzamsal konumlarda uygulanır. Böylece parametre sayısı tam bağlı katmana göre azalır ve yerel örüntüler öğrenilebilir.

Modern CNN mimarilerinde:

convolution,
nonlinear activation,
normalization,
residual connection,
downsampling

gibi yapılar birlikte kullanılabilir.

ResNet, residual bağlantı kullanarak çok derin ağların optimizasyonunu kolaylaştırmıştır.

LSTM ve GRU

LSTM ve GRU recurrent ağların uzun dönemli bağımlılık sorununa yönelik kapılı yapılardır.

LSTM'de hücre durumu kontrollü bilgi yolu sağlar. GRU daha kompakt bir kapı yapısına sahiptir.

Bu modeller zaman serisi ve dizisel veriler için halen yararlı olabilir. Özellikle küçük veya çevrim içi sistemlerde recurrence doğrudan ve düşük gecikmeli bir durum modeli sunabilir.

Attention

Attention mekanizması bir sorgunun diğer temsillerden hangilerine ne ölçüde bakacağını öğrenir.

Scaled dot-product attention temel olarak:

Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V

şeklindedir.

Bu mekanizma uzun mesafeli bağımlılıkların doğrudan modellenmesine imkan verir.

Transformer

Transformer, recurrence yerine self-attention ve feed-forward katmanları kullanır.

Temel bileşenleri:

token veya patch embedding,
positional information,
multi-head attention,
feed-forward network,
residual connection,
normalization.

Transformer mimarisi doğal dil işleme ile başlamış, daha sonra görüntü, ses, zaman serisi ve çok modlu modellemeye yayılmıştır.

Autoencoder

Autoencoder girdiyi sıkıştırılmış bir temsil üzerinden yeniden oluşturmaya çalışır.

z = encoder(x)

xhat = decoder(z)

Amaç:

xhat ~= x

olmasıdır.

Autoencoder boyut indirgeme, temsil öğrenme, anomali belirleme ve generative modelleme için temel bir yapıdır.

Generative Adversarial Network

GAN iki ağın karşıt amaçlarla eğitildiği generative modeldir.

Generator gerçek veri dağılımına benzeyen örnekler üretir.

Discriminator gerçek ve üretilmiş örnekleri ayırt etmeye çalışır.

İki model minimax oyun içinde birlikte gelişir.

GAN'ler yüksek kaliteli sentez üretmiş olsa da eğitim kararsızlığı ve mode collapse gibi sorunlar yaşayabilir.

Diffusion modelleri

Diffusion modelleri veriye kademeli gürültü ekleyen bir ileri süreç ve bu gürültüyü öğrenerek tersine çeviren bir üretim süreci kullanır.

Görüntü ve ses üretiminde güçlü generative model ailesi haline gelmiştir.

Temel fikir, karmaşık veri dağılımından doğrudan örneklemek yerine gürültü giderme adımlarını öğrenmektir.

Kendinden öğretmenli temsil öğrenme

Büyük etiketli veri kümeleri pahalıdır. Kendinden öğretmenli öğrenme hedefi verinin kendisinden üretir.

Örnek hedefler:

maskelenmiş parçayı tahmin etmek,
sonraki tokenı tahmin etmek,
farklı görünümlerin aynı örneğe ait olduğunu öğrenmek.

Bu yaklaşım büyük modellerin çok büyük etiketsiz veri üzerinde ön eğitim almasını sağlar.

Düzenlileştirme

Modern ağlarda aşırı uyumu azaltmak için birden fazla teknik birlikte kullanılabilir.

Weight decay: Büyük ağırlıkları cezalandırır.

Dropout: Eğitim sırasında bazı aktivasyonları rastgele sıfırlar.

Data augmentation: Eğitim örneklerinin anlamı koruyan dönüşümlerini üretir.

Early stopping: Doğrulama başarımı kötüleşmeden eğitimi durdurur.

Normalizasyon

Batch Normalization, mini-batch istatistiklerini kullanarak katman aktivasyonlarını normalleştirir ve öğrenilebilir ölçek/kaydırma parametreleri ekler.

Transformer mimarilerinde Layer Normalization daha yaygındır. Normalizasyon seçimi mimariye ve batch yapısına bağlıdır.

Modern optimizasyon

SGD ve momentum temel yöntemlerdir.

Adam, gradyanın birinci ve ikinci moment tahminlerini kullanarak parametre başına uyarlanmış güncelleme büyüklüğü oluşturur.

AdamW, weight decay ile gradyan tabanlı L2 cezasını ayırarak pratik derin öğrenme eğitiminde yaygınlaşmıştır.

Optimizer seçimi tek başına yeterli değildir. Learning-rate schedule, warmup, batch büyüklüğü ve sayısal hassasiyet birlikte eğitim dinamiğini belirler.

Yapay sinir ağı simülatörlerinden öğrenme çerçevelerine

Eski yapay sinir ağı araçları belirli ağ modellerini menüler veya sabit simülatörler üzerinden kuruyordu. Güncel yaklaşım genel amaçlı otomatik türev ve tensor hesaplama çerçeveleridir.

Yaygın ekosistemler:

PyTorch,
TensorFlow/Keras,
JAX.

Bu araçlar model tanımından çok daha fazlasını sağlar:

otomatik türev,
GPU ve hızlandırıcı desteği,
dağıtık eğitim,
mixed precision,
veri yükleme,
model serileştirme.

Araç değişse de temel matematik değişmez. Öğrencinin önce ileri geçişi, kayıp fonksiyonunu, gradyanı ve optimizasyonu anlaması gerekir.

Güncel mühendislik ilkeleri

Bir sinir ağı sistemi tasarlanırken şu sıra izlenmelidir:

Problemi ve hata maliyetini tanımla.
Basit bir baseline kur.
Eğitim, doğrulama ve test ayrımını doğru yap.
Veri sızıntısını engelle.
Uygun model kapasitesini seç.
Performansı yalnız tek bir ölçütle değerlendirme.
Dağılım değişimini ölç.
Gecikme, throughput, bellek ve enerji maliyetini hesaba kat.
Modeli üretim verisi üzerinde izle.
Yeniden eğitim ve sürümleme sürecini tasarla.

Sinir ağı mühendisliğinde asıl başarı yalnız yüksek doğruluk değildir. Modelin gerçek kullanım koşullarında güvenilir, ölçülebilir ve sürdürülebilir davranmasıdır.