Doğal Dil İşleme

Doğal dil işleme (Natural Language Processing, NLP), insan dillerinin bilgisayarlarla çözümlenmesi, dönüştürülmesi, aranması, sınıflandırılması, üretilmesi ve başka bilgi temsilleriyle ilişkilendirilmesiyle ilgilenir. Alan yalnızca metin üretmekten veya bir büyük dil modeline soru sormaktan ibaret değildir. Karakter kodlamasından biçimbilime, sözdiziminden anlambilime, bilgi erişiminden konuşma tanımaya ve dil modellerine kadar uzanan çok katmanlı bir mühendislik alanıdır.

Bu ders Türkçe ağırlıklıdır. Bunun nedeni Türkçenin yalnızca örnek dili olarak seçilmesi değildir. Türkçenin eklemeli yapısı, üretken türetme ve çekim sistemi, ünlü uyumu, biçimbilimsel belirsizlik, görece serbest öge dizilişi ve yazı–ses ilişkisi, birçok NLP varsayımını görünür hâle getirir. İngilizce için makul görünen bir sözcük temsili Türkçede veri seyrekliğini büyütebilir; Çince için sözcük sınırı problemi öne çıkarken Arapçada kök–kalıp ilişkisi ve bitişik biçimbirimler farklı bir çözümleme gerektirir. Bu nedenle iyi bir NLP sistemi "dil bağımsız" olduğunu söylemekten önce hangi dilsel varsayımlara dayandığını açıkça belirtmelidir.

Bu not, daha önce ele aldığım Yapay Zeka: Felsefe, Kuram ve Uygulama, Yapay Sinir Ağları ve Öğrenme Modelleri, İstatistiksel Öğrenme ve Makine Öğrenmesi, Mantıksal Programlama ve Prolog ve Büyük Dil Modelleri dersleriyle birlikte okunabilir. Buradaki amaç bu derslerdeki öğrenme kuramını veya model mimarilerini tekrar etmek değil, doğal dilin kendisinin bilgisayarlı işlenmesinde hangi temsil ve kararların gerekli olduğunu açıklamaktır.

ham dil verisi
     |
     v
kodlama ve normalizasyon
     |
     v
bölütleme / tokenlaştırma
     |
     v
biçimbilim
     |
     v
sözdizimi
     |
     v
anlam ve söylem
     |
     v
görev modeli
     |
     v
değerlendirme ve üretim sistemi

Bu akış zorunlu bir ardışık boru hattı değildir. Modern uçtan uca modeller bu katmanların bir bölümünü örtük olarak birlikte öğrenebilir. Buna karşın hata çözümleme, veri hazırlama ve üretim mühendisliği sırasında aynı ayrımlar yeniden karşımıza çıkar.

Ünite 1: Doğal Dil İşlemenin Problem Alanı

1.1 Doğal dil neden zordur?

Programlama dili tasarım gereği belirli bir sözdizimine sahiptir. Doğal dil ise tarihsel, toplumsal ve bilişsel süreçlerle gelişir. Aynı anlam farklı biçimlerde ifade edilebilir; aynı yüzey biçimi farklı bağlamlarda farklı anlamlara gelebilir.

Örneğin:

Yüz lira verdim.
Denizde yüz.
Yüz ifadesi değişti.

Aynı yüz karakter dizisi sayı, eylem veya ad olabilir. Yalnız sözlük araması bu ayrımı çözmez.

Benzer biçimde:

Ali kitabı masaya bıraktı.
Kitabı Ali masaya bıraktı.
Masaya kitabı Ali bıraktı.

Türkçede durum ekleri ve söylem yapısı sayesinde öge sırası değişebilir. Cümlelerin odak ve vurgu özellikleri aynı değildir; ancak temel olay ilişkisi büyük ölçüde korunabilir.

NLP bu nedenle yalnız dizgi işleme değildir. Karakter, sözcük, biçimbirim, tümce, söylem ve dünya bilgisi farklı seviyelerde rol oynar.

1.2 NLP görevleri

NLP görevleri tek bir sınıflandırma altında toplanamaz. Başlıca problem aileleri şunlardır:

• metin normalizasyonu ve yazım işleme,
• sözcük ve alt sözcük bölütleme,
• kök, gövde ve biçimbirim çözümleme,
• sözcük türü belirleme,
• adlandırılmış varlık tanıma,
• sözdizimsel çözümleme,
• ilişki ve olay çıkarımı,
• anlam benzerliği,
• bilgi erişimi,
• metin sınıflandırma,
• duygu ve tutum çözümleme,
• soru yanıtlama,
• özetleme,
• makine çevirisi,
• konuşmadan metne ve metinden konuşmaya geçiş,
• diyalog sistemleri,
• dil modelleme ve metin üretimi.

Bu görevlerin bir bölümü ayrı modellerle çözülebilir. Bir bölümü ise ortak bir önceden eğitilmiş modelin farklı görev başlıklarıyla uyarlanması yoluyla ele alınabilir.

1.3 Kural, istatistik ve öğrenilmiş temsil

NLP tarihinde üç yaklaşım sürekli birbirine temas etmiştir:

açık kural
  |
  +--> sözlük / dilbilgisi / sonlu durum modeli

istatistiksel model
  |
  +--> n-gram / HMM / Naive Bayes / CRF

öğrenilmiş temsil
  |
  +--> gömme vektörü / RNN / Transformer / büyük dil modeli

Bunlar birbirini bütünüyle ortadan kaldırmaz. Türkçe karakter normalizasyonunda sabit bir dönüşüm tablosu en doğru çözüm olabilirken, adlandırılmış varlık tanımada bağlamsal bir Transformer modeli daha uygun olabilir. Üretim sisteminde iki yaklaşım aynı akışta da bulunabilir.

Ünite 2: Dil Tipolojisi ve NLP Tasarımı

2.1 Dil bağımsız algoritma ne kadar bağımsızdır?

Bir algoritma Unicode metin alıp karakter dizisi üzerinde çalışıyorsa teknik olarak çok sayıda dili kabul edebilir. Bu, dilbilimsel olarak aynı doğrulukta çalışacağı anlamına gelmez.

Dil özellikleri şu kararları etkiler:

• sözcük sınırının nasıl belirleneceği,
• söz varlığının büyüklüğü,
• biçimbirimlerin nasıl ayrılacağı,
• özne–nesne ilişkilerinin sözcük sırasından mı eklerden mi çıkarılacağı,
• büyük–küçük harf dönüşümü,
• yazı ve ses arasındaki ilişki,
• bilinmeyen sözcük davranışı,
• alt sözcük sözlüğünün verimliliği,
• değerlendirme ölçütünün neyi cezalandırdığı.

2.2 Türkçe

Türkçe eklemeli bir dildir. Kök veya gövdenin sonuna art arda ekler gelebilir.

Özgün bir örnek:

ev
evler
evlerimiz
evlerimizde
evlerimizdekiler
evlerimizdekilerden

Bu zincirin her aşaması yeni dilbilgisel bilgi taşır. İngilizcede bir bölümünün ayrı sözcüklerle ifade edilmesi gerekir.

Türkçe için NLP açısından önemli özellikler:

• üretken çekim ve türetme,
• ünlü uyumu ve ünsüz değişimleri,
• eklerin çok sayıda yüzey biçimi,
• durum eklerinin sözdizimsel rol taşıması,
• görece serbest öge dizilişi,
• büyük–küçük harfte i/İ ve ı/I ayrımı,
• yabancı köklerin Türkçe eklerle birleşebilmesi,
• apostrof ve özel ad kullanımının biçimbilimle etkileşmesi,
• konuşma dilinde düşme, uzatma ve yazı dışı varyasyonlar.

2.3 İngilizce

İngilizce Türkçeye göre daha sınırlı çekimsel biçimbilime ve daha belirgin sözcük sırasına sahiptir.

The engineer tested the model.
The model tested the engineer.

Sözcüklerin konumu değiştiğinde özne–nesne ilişkisi de değişir. Türkçede durum ekleri bu ilişkinin daha fazla korunmasını sağlayabilir.

İngilizce için boşluk tabanlı ilk bölütleme çoğu zaman kullanılabilir bir başlangıçtır; ancak don't, New York, e-mail, noktalama ve birleşik ifadeler yine özel kararlar gerektirir.

2.4 Almanca

Almanca çekim, cinsiyet ve durum bilgisiyle birlikte üretken birleşik sözcüklere sahiptir. Uzun bileşikler sözlük dışı sözcük oranını artırabilir. Bu nedenle bileşik çözümleme ve alt sözcük temsilleri önem kazanır.

Daten + Verarbeitung + System

Burada yalnız boşluk aramak anlamlı birimlerin tamamını vermez.

2.5 Arapça

Arapçada kök–kalıp biçimbilimi ve sözcüğe bitişebilen bazı işlevsel parçalar, yüzey biçiminin doğrudan kök olarak kullanılmasını güçleştirir. Kısa ünlülerin çoğu günlük yazıda gösterilmez. Aynı yazılı biçimin birden fazla okuma ve çözümlemeye açık olması bağlamın önemini artırır.

Türkçedeki temel düşünce:

kök + ek + ek + ek

iken Arapça için yalnız bu doğrusal şema yeterli değildir. Kök ünsüzler, kalıp ve bitişik parçalar birlikte değerlendirilir.

2.6 Çince

Modern Çince yazıda sözcükler arasında zorunlu boşluk bulunmaz. Karakter dizisini sözcük birimlerine ayırmak başlı başına bir NLP kararıdır.

Bu durum şu önemli sonucu doğurur:

karakter sınırı != sözcük sınırı

Karakter tabanlı, sözcük tabanlı ve alt sözcük tabanlı modeller farklı maliyet ve belirsizlik taşır.

2.7 Japonca

Japoncada kanji, hiragana ve katakana aynı metinde birlikte bulunabilir. Sözcük sınırları boşlukla düzenli biçimde işaretlenmez. Biçimbilimsel çözümleme ile bölümleme genellikle birlikte ele alınır.

2.8 Diğer Türk dilleri

Azerbaycanca, Kazakça, Kırgızca, Özbekçe ve diğer Türk dilleri Türkçeyle yapısal benzerlikler paylaşır; ancak alfabe, ses olayları, ek envanteri, söz varlığı ve kaynak miktarı aynı değildir. Yakın dil olmak doğrudan model aktarımının hatasız olacağı anlamına gelmez.

Çok dilli bir modelde ortak alt sözcükler ve benzer biçimbirim örüntüleri aktarımı kolaylaştırabilir. Buna karşılık farklı yazı sistemleri veya dengesiz eğitim verisi temsil kalitesini sınırlayabilir.

Ünite 3: Unicode, Yazım ve Normalizasyon

3.1 NLP'nin ilk katmanı karakterdir

Metin ekranda doğru görünse bile bellekte beklenen kod noktalarıyla temsil edilmeyebilir. Unicode normalizasyon biçimleri, birleşik ve ayrık karakter gösterimleri, kontrol karakterleri ve görünmez boşluklar veri eşitliğini etkileyebilir.

Bir NLP hattında şu ayrımlar açık olmalıdır:

bayt
  -> kod çözme
Unicode kod noktaları
  -> normalizasyon
karakter dizisi
  -> dilsel bölümleme
token / biçimbirim / alt sözcük

Bayt seviyesindeki bozukluğu modelin "anlaması" beklenmemelidir.

3.2 Türkçe büyük–küçük harf

Türkçede:

i <-> İ
ı <-> I

eşleşmesi vardır. İngilizce odaklı bir büyük–küçük harf dönüşümü I ile i arasında doğrudan eşleme yapabilir. Bu durum Türkçe arama, indeksleme, ad eşleştirme ve sözlük işlemlerinde hata üretir.

Bu nedenle yerel ayara bağlı dönüşüm ile dil bağımsız casefold aynı sözleşme gibi kullanılmamalıdır.

3.3 ASCII'ye indirgeme ve bilgi kaybı

Türkçe karakterleri ASCII karşılıklarına dönüştürmek bazı arama ve eski sistem uyumluluğu senaryolarında yararlı olabilir:

ç -> c
ğ -> g
ı -> i
ö -> o
ş -> s
ü -> u

Ancak dönüşüm tersinir değildir. sık ve sik gibi farklı diziler aynı ASCII alanına yaklaşabilir. Bu nedenle ASCII'ye indirgeme bir "düzeltme" değil, belirli bilgi sınıflarını bilinçli olarak atan bir gösterim dönüşümüdür.

Bu konu Türkçe Metinlerde Tablo Tabanlı ASCII Dönüşümü notumda deterministik ve düşük maliyetli uygulama açısından ayrıca ele alınır.

3.4 Deasciification

ASCII yazılmış Türkçe metni yeniden Türkçe karakterlere dönüştürmek ters yöndeki dönüşümden daha zordur:

cagri -> çağrı
sag -> sağ
sik -> ?

Son örnekte yalnız karakter ailesi yeterli değildir; bağlam gerekir. C# ile Türkçe Deasciification çalışmamda bağlama dayalı karar listesinin, küçük ve deterministik bir NLP modelinin üretim davranışını nasıl belirlediğini incelemiştim.

Bu örnek, modern sinir ağlarından bağımsız önemli bir NLP ilkesini gösterir: problem dar ve karar sınırı iyi tanımlıysa küçük bir model, genel amaçlı büyük bir modele göre daha denetlenebilir olabilir.

Ünite 4: Bölütleme, Tokenlaştırma ve Alt Sözcükler

4.1 Token doğal bir gerçeklik değildir

"Token" çoğu zaman modelin işlediği temel birimdir; dilbilimdeki "sözcük" ile aynı şey olmak zorunda değildir.

metin
  -> karakter
  -> sözcük adayı
  -> alt sözcük
  -> model tokenı

Bir model için tek token olan dizi başka modelde üç parçaya ayrılabilir.

4.2 Boşluk tabanlı bölütlemenin sınırı

Türkçede boşluk sözcük sınırı için güçlü bir ipucudur; ancak:

• sayılar ve birimler,
• kısaltmalar,
• özel adlar,
• URL ve e-posta adresleri,
• emojiler,
• çok sözcüklü ifadeler,
• noktalama,
• hatalı yazım,
• birleşik ve ayrı yazım tercihleri

nedeniyle tek başına yeterli değildir.

4.3 Türkçede alt sözcük ihtiyacı

Eklemeli yapı yüzünden sözcük biçimlerinin sayısı hızla büyür. Sözcük düzeyinde sabit bir sözlük kullanıldığında nadir ve görülmemiş biçimler artar.

Şu biçimler aynı kökten türeyebilir:

model
modeli
modelin
modeller
modellerimiz
modellerimizden

Alt sözcük sistemi bu ortaklığı kısmen yakalayabilir.

4.4 BPE, Unigram ve SentencePiece

Byte Pair Encoding benzeri yöntemler sık tekrar eden sembol çiftlerini birleştirerek alt sözcük sözlüğü oluşturur. Unigram yaklaşımı ise olası parçalardan bir sözlük kurup bir dizinin olası bölümlemelerini olasılıksal olarak değerlendirir.

SentencePiece'in önemli mühendislik yaklaşımı, önceden sözcüklere ayrılmış girdi zorunluluğunu kaldırıp ham metin üzerinden alt sözcük modeli eğitebilmesidir.

Ancak alt sözcük sınırları dilbilimsel biçimbirim sınırları olmak zorunda değildir.

dilbilimsel çözüm:
ev + ler + imiz + den

alt sözcük modeli:
evl + erimiz + den

İkinci bölümleme model için yararlı olabilir; fakat "doğru morfolojik çözüm" diye yorumlanmamalıdır.

Bu ayrımı SentencePiece ile Metin Parçalama Sınırları notumda normalizasyon ve sözlük tasarımı açısından ayrıca inceliyorum.

4.5 Karakter ve bayt düzeyi modeller

Karakter veya UTF-8 baytı düzeyinde çalışan modeller açık sözcük sözlüğüne bağımlılığı azaltır. Buna karşılık dizi uzar; model aynı anlamsal içeriği daha fazla zaman adımıyla işlemeye başlayabilir.

Dil, görev ve donanım birlikte düşünülmelidir:

daha küçük birim
  -> daha küçük sözlük
  -> daha uzun dizi
  -> daha fazla sıralı işlem / attention yükü

daha büyük birim
  -> daha büyük sözlük
  -> daha kısa dizi
  -> daha fazla OOV / seyrek temsil riski

Ünite 5: Türkçe Biçimbilim

5.1 Kök, gövde ve biçimbirim

Biçimbilim sözcüğün iç yapısını inceler. Türkçede çekim ve türetme ekleri üretken biçimde bir araya gelir.

Örnek:

yaz
yazıcı
yazıcılar
yazıcılarımız
yazıcılarımızdan

Burada yüzey dizisini tek bir sözlük girdisi gibi değerlendirmek, kök ve ekler arasındaki ortaklığı kaybettirir.

5.2 Ünlü uyumu ve yüzey biçimleri

Aynı soyut ek farklı yüzey biçimleri alabilir:

-lar
-ler

veya:

-da
-de
-ta
-te

Bu nedenle dilsel çözümlemede "ek" ile metindeki harf dizisi bire bir aynı kavram değildir. Biçimbirim bir soyut işlev taşır; yüzey biçimi sesbilgisel ve yazımsal bağlama göre değişebilir.

5.3 Türetme ve sözcük türü değişimi

Türetme yalnız yeni harfler eklemez; sözcüğün sözdizimsel kategorisini ve anlam alanını da değiştirebilir.

temiz
temizle
temizleyici

Bu dönüşümler sınıflandırma ve bilgi çıkarımı açısından önemlidir. Model yalnız yüzey benzerliğine güvenirse aynı kökün farklı dilbilgisel görevlerini karıştırabilir.

5.4 Sonlu durumlu çözümleme

Türkçenin düzenli biçimbilimsel süreçlerinin önemli bir bölümü sonlu durum makineleri ve sonlu durum dönüştürücüleriyle modellenebilir.

kök sözlüğü
    |
    v
biçimbirim geçişleri
    |
    v
ses/yazım dönüşüm kuralları
    |
    v
yüzey biçimi

Çözümleme ters yönde çalıştırıldığında yüzey biçiminden olası kök ve özellik dizilerine gidilebilir.

Bu yaklaşım, Otomatlar Kuramı ve Biçimsel Diller ile NLP arasındaki doğrudan bağlardan biridir.

5.5 Heceleme ile biçimbilim aynı şey değildir

Hece sınırı ses ve yazı örüntüleriyle ilgilidir; biçimbirim sınırı dilbilgisel yapıyla ilgilidir. İki sınır zaman zaman çakışabilir, fakat aynı problem değildir.

Kendi Sonlu Durumlu Türkçe Heceleme Algoritması ve açık kaynak Turkish Finite-State Syllabifier çalışmalarım bu farkı somutlaştırır. Heceleyici, geniş kapsamlı biçimbilimsel çözümleyici olmadan da düzenli bir durum makinesiyle belirli bir alt problemi çözebilir.

Ünite 6: Biçimbilimsel Belirsizlik ve Sözcük Türü

6.1 Bir yüzey biçiminin birden fazla çözümü

Bir sözcük biçimi farklı kök veya ek ayrımlarına izin verebilir. Bağlam, olası çözümlemeler arasından uygun olanı seçmek için kullanılır.

Genel akış:

yüzey sözcüğü
     |
     v
morfolojik çözümleyici
     |
     +--> aday 1
     +--> aday 2
     +--> aday 3
     |
     v
bağlamsal belirsizlik giderme
     |
     v
seçilen çözüm

Bu ayrım önemlidir: çözümleyici aday üretir, belirsizlik giderici bağlamla seçim yapar.

6.2 Sözcük türü etiketleme

Sözcük türü etiketleme, tokenlara ad, eylem, sıfat, zarf, zamir gibi kategoriler atar. Klasik sistemlerde:

• kural tabanlı etiketleyiciler,
• n-gram etiketleyiciler,
• gizli Markov modelleri,
• dönüşüm tabanlı yöntemler,
• koşullu rassal alanlar,
• perceptron tabanlı modeller

kullanılmıştır.

Modern sistemlerde bağlamsal sinir ağı temsilleri güçlüdür; ancak etiket kümesinin tanımı ve eğitim verisinin tutarlılığı hâlâ temel sorundur.

6.3 Türkçede biçimbilim ile sözdiziminin teması

Türkçede durum, kişi, sayı, iyelik ve zaman gibi bilgiler sözcük içinde yoğunlaşabilir. Bu nedenle biçimbilimsel özellikler sözdizimsel çözümlemenin girdi bilgisini güçlendirir.

İngilizcede ayrı sözcük veya daha sabit sıra ile görülen bazı ilişkiler Türkçede eklerle kodlanabilir. Bu, dil karşılaştırmasının yalnız sözlük düzeyinde yapılamayacağını gösterir.

Ünite 7: Sözdizimi ve Bağımlılık Çözümleme

7.1 Cümle yapısı neden gereklidir?

Aynı sözcükler farklı ilişkiler kurabilir:

Mühendis modeli test etti.
Model mühendisi test etti.

Kim kimi test etti sorusu yalnız sözcüklerin varlığıyla çözülemez.

7.2 Öbek yapısı ve bağımlılık

Öbek yapısı dilbilgileri cümleyi iç içe öbeklere ayırır. Bağımlılık yaklaşımı ise sözcükler arasında baş–bağımlı ilişkileri kurar.

Basit bir bağımlılık görünümü:

          test_etti
          /       \
   mühendis       modeli
     özne          nesne

Türkçenin görece serbest öge dizilişi nedeniyle bağımlılık gösterimi birçok görevde doğal bir çerçeve sağlar. Bununla birlikte etiketleme politikası ve biçimbilimsel bilgi sonucu doğrudan etkiler.

7.3 Universal Dependencies

Universal Dependencies, farklı dillerde sözcük türü, biçimbilimsel özellik ve bağımlılık ilişkilerini ortak bir çerçevede göstermeyi amaçlar. Aynı şema Türkçe, İngilizce ve birçok başka dil üzerinde karşılaştırmalı model geliştirmeyi kolaylaştırır.

Ancak "evrensel" etiket kümesi bütün dillerin aynı yapıda olduğu anlamına gelmez. Amaç, farklı dil özelliklerini ortak adlandırma ilkeleriyle karşılaştırılabilir hâle getirmektir.

Türkçe BOUN ve IMST ağaç bankaları, Türkçe bağımlılık çözümleme çalışmalarında önemli veri kaynaklarıdır.

Ünite 8: Sözcüksel Anlam, Varlıklar ve Söylem

8.1 Sözcük anlamı bağlama bağlıdır

Dağıtımsal yaklaşımın temel sezgisi, benzer bağlamlarda bulunan sözcüklerin anlam bakımından ilişkili olabileceğidir.

Fakat anlam benzerliği özdeşlik değildir:

doktor <-> hekim        yakın anlam
doktor <-> hastane      ilişkili kavram
doktor <-> mühendis     aynı üst sınıfta kişi/meslek

Vektör yakınlığı bu farklı ilişki türlerini tek bir geometrik ölçüye sıkıştırabilir.

8.2 Sözcük anlamı belirsizliği

Bir yüzey sözcüğünün bağlama göre farklı anlamları olabilir. Sözcük anlamı belirsizliği giderme, doğru anlamı bağlamdan seçmeye çalışır.

Bu problem klasik sözlük/WordNet yaklaşımıyla, gömme vektörleriyle veya bağlamsal modellerle ele alınabilir.

8.3 Adlandırılmış varlık tanıma

Adlandırılmış varlık tanıma kişi, kurum, konum, tarih, ürün ve benzeri varlık sınıflarını metinde bulur.

Türkçede ekler varlık sınırını ve yüzey biçimini etkileyebilir:

Ankara
Ankara'da
Ankara'dan

Normalizasyon sırasında eki veya apostrofu kontrolsüzce silmek, daha sonraki çözümlemeyi zayıflatabilir.

8.4 İlişki ve olay çıkarımı

Varlıkları bulmak yalnız ilk adımdır. Asıl bilgi çoğu zaman ilişkidedir:

KISI ---- çalışır ----> KURUM
KISI ---- doğdu -----> KONUM
OLAY ---- gerçekleşti -> TARİH

İlişki çıkarımı açık kurallarla, istatistiksel sınıflandırıcılarla veya sinirsel modellerle yapılabilir.

8.5 Eş gönderim ve söylem

Bir metinde aynı varlığa farklı ifadelerle gönderme yapılabilir:

Ayşe raporu tamamladı.
Mühendis daha sonra onu yöneticisine gönderdi.

Mühendis ile Ayşe, onu ile raporu arasında ilişki kurmak cümle sınırını aşan söylem bilgisi gerektirir.

Ünite 9: Mantıksal Gösterim ve Mantıksal Programlama ile Bağ

9.1 Dil ile mantık arasındaki köprü

Bir NLP sistemi metni doğrudan serbest biçimli çıktı olarak bırakmak zorunda değildir. Bazı uygulamalarda cümleden açık bir anlamsal yapı çıkarılır:

"Deniz raporu gönderdi."

        |
        v

gonderen = Deniz
nesne    = rapor
eylem    = gönder

Daha biçimsel bir katmanda bu bilgi yüklemlere dönüştürülebilir:

gonderdi(deniz, rapor).

9.2 Prolog ve doğal dil

Prolog tarihsel olarak doğal dil çözümleme, dilbilgisi ve bilgi gösterimiyle yakın ilişkiye sahiptir. Definite Clause Grammar yaklaşımı, dilbilgisel üretimleri Prolog kurallarıyla ifade etmeye olanak verir.

Basit ve özgün bir örnek:

cumle --> ad_obegi, eylem_obegi.
ad_obegi --> [muhendis].
eylem_obegi --> [geldi].

Bu örnek tam bir Türkçe dilbilgisi değildir. Ama dil kuralının yürütülebilir mantıksal tanıma dönüşebildiğini gösterir.

9.3 Sembolik ve istatistiksel katman birlikte

Modern bir sistem şu biçimde tasarlanabilir:

metin
  |
  v
sinirsel NLP modeli
  |
  v
varlık / ilişki adayları
  |
  v
mantıksal kural ve kısıtlar
  |
  v
doğrulanmış sonuç

Sinirsel katman belirsiz örüntülerden aday üretirken mantıksal katman açık kısıtları uygulayabilir. Bu yaklaşım Mantıksal Programlama ve Prolog dersindeki sembolik çıkarım ile NLP arasındaki en doğrudan bağlardan biridir.

Ünite 10: Derlem, Etiketleme ve Veri Yaşam Döngüsü

10.1 Derlem nedir?

Derlem, belirli bir amaçla toplanmış ve çoğu zaman üstveriyle birlikte düzenlenmiş dil verisidir. Rastgele toplanmış büyük metin yığını her zaman iyi bir derlem değildir.

Şu özellikler açık olmalıdır:

• kaynak,
• dönem,
• alan,
• dil ve lehçe,
• kullanım izni,
• temizleme yöntemi,
• yinelenen içerik politikası,
• eğitim/doğrulama/test ayrımı,
• etiketleme yönergesi.

10.2 Veri sızıntısı

Aynı haberin veya belgenin küçük değişikliklerle hem eğitim hem test kümesinde bulunması ölçümü yapay biçimde yükseltebilir. Doküman düzeyi ayırma çoğu NLP görevinde satır düzeyi rastgele ayırmadan daha güvenlidir.

Benzer şekilde aynı konuşmacı, aynı site, aynı şablon veya aynı zaman aralığı bölünmeler arasında kalıyorsa model gerçek genelleme yerine kaynağı ezberleyebilir.

10.3 Etiketleyiciler arası uyum

Dilsel görevlerde "doğru etiket" her zaman mutlak değildir. İki uzman sınır veya anlam konusunda farklı karar verebilir. Bu nedenle etiketleme yönergesi, örnekler ve uyuşmazlık çözümü veri kalitesinin parçasıdır.

10.4 Türkçe kaynaklar

Türkçe NLP için morfolojik derlemler, bağımlılık ağaç bankaları, ulusal derlem, sözlüksel ağlar, konuşma veri kümeleri ve görev özelinde sınıflandırma veri kümeleri geliştirilmiştir. Kaynağın büyüklüğü kadar lisansı, alanı ve etiketleme kalitesi de önemlidir.

Ünite 11: Klasik İstatistiksel NLP

11.1 N-gram dil modelleri

Bir n-gram modeli, sıradaki birimin olasılığını sınırlı geçmiş üzerinden kestirir.

Basit düşünce:

P(sıradaki sözcük | son birkaç sözcük)

Modelin gücü, açık ve hızlı olmasındadır. Zayıflığı uzun bağlamı görememesi ve seyrek olaylarda veri ihtiyacının büyümesidir.

Türkçede çok sayıda sözcük biçimi oluşabildiği için sözcük düzeyi n-gram sözlüğü daha hızlı seyrekleşebilir. Kök, biçimbirim veya alt sözcük düzeyi birimler bu sorunu azaltabilir.

11.2 Yumuşatma

Eğitim verisinde görülmeyen n-grama sıfır olasılık vermek yeni metinde kırılgan davranış üretir. Yumuşatma yöntemleri olasılık kütlesinin bir bölümünü görülmeyen olaylara ayırır.

Bu düşünce, "eğitim verisinde yoksa imkânsızdır" varsayımının istatistiksel olarak neden yanlış olduğunu gösterir.

11.3 Naive Bayes ve metin sınıflandırma

Belge sınıflandırmada sözcük veya n-gram özellikleri Naive Bayes ile güçlü bir klasik temel oluşturabilir. Kendi Veri Madenciliği Teknikleri İle Spam Algılama çalışmamda n-gram ve Naive Bayes yaklaşımını farklı araçlarla gerçekleyerek aynı temel sınıflandırma fikrinin uygulama davranışını karşılaştırmıştım.

Bu tarihsel yaklaşım bugün de değerlidir; çünkü küçük veri, açıklanabilir temel model ve hızlı karşılaştırma gerektiğinde karmaşık modelden önce güçlü bir başlangıç noktası sağlar.

11.4 HMM ve CRF

Gizli Markov modeli dizi içindeki gizli durumları ve gözlemleri olasılıksal olarak modeller. Sözcük türü etiketleme ve konuşma tanımanın klasik mimarilerinde yaygın kullanılmıştır.

Koşullu rassal alanlar ise bütün etiket dizisini gözlem dizisine koşullu olarak modelleyerek özellikle dizi etiketleme görevlerinde etkili olmuştur.

Klasik modelleri bilmek, Transformer'ın neyi değiştirdiğini anlamayı kolaylaştırır.

Ünite 12: Metin Temsili ve Gömme Vektörleri

12.1 Torba gösteriminden dağıtımsal temsile

Torba-sözcük yaklaşımı belgeyi sözcük sayımlarıyla temsil eder. Sözcük sırasının büyük bölümünü kaybeder; buna karşılık basit ve etkilidir.

TF-IDF, her sözcüğün bir belgede sık ama bütün koleksiyonda seyrek olmasını daha ayırt edici kabul eder.

12.2 Yoğun gömme vektörleri

Word2Vec ve GloVe gibi yöntemler sözcükleri yoğun vektörlerle temsil eder. Benzer bağlamlarda geçen sözcüklerin vektörleri geometrik olarak yakınlaşabilir.

Türkçe için tek yüzey sözcüğüne tek vektör atamak yine biçimbilimsel seyrekliğe duyarlıdır. FastText gibi karakter n-gramlarından yararlanan yöntemler nadir ve türemiş biçimlerde ek bilgi sağlayabilir.

12.3 Bağlamsal temsil

Statik gömme vektöründe yüz sözcüğünün tek vektörü vardır. Bağlamsal modelde:

"yüz metre"
"denizde yüz"
"insan yüzü"

örneklerindeki temsil, çevredeki sözcüklere göre değişebilir.

Bu değişim BERT ve benzeri önceden eğitilmiş bağlamsal modellerin temel avantajlarından biridir.

Ünite 13: Sinirsel Dizi Modelleri

13.1 RNN, LSTM ve GRU

Tekrarlayan sinir ağları diziyi zaman adımları boyunca işler. Uzun bağımlılıkların öğrenilmesindeki güçlükler LSTM ve GRU gibi kapılı yapılara yöneltmiştir.

Genel yapı:

x1 -> h1 -> h2 -> h3 -> ...
      ^     ^     ^
      x2    x3    x4

Her gizli durum önceki durum ve yeni girdinin birleşiminden oluşur.

13.2 Kodlayıcı–kod çözücü

Makine çevirisi gibi dizi-dizi görevlerinde bir kodlayıcı kaynak diziyi temsil eder, kod çözücü hedef diziyi üretir.

İlk modeller bütün kaynağı tek sabit vektöre sıkıştırdığında uzun dizilerde bilgi kaybı oluşabiliyordu.

13.3 Dikkat

Dikkat mekanizması kod çözücünün her çıktı adımında kaynak dizinin farklı bölümlerine ağırlık vermesine izin verdi.

kaynak tokenlar
  |  |  |  |
  +--+--+--+
       |
    attention
       |
       v
 hedef token

Bu düşünce daha sonra Transformer mimarisinin merkezine yerleşti.

Ünite 14: Transformer ve Ön Eğitim

14.1 Transformer neyi değiştirdi?

Transformer tekrarlayan durum zinciri yerine tokenların birbirleriyle attention üzerinden ilişki kurmasını sağlar. Eğitimde büyük ölçüde paralel hesaplamaya elverişli olması, çok büyük veri ve model ölçeğine çıkmayı kolaylaştırmıştır.

Ancak Transformer, biçimbilim veya sözdizimini ortadan kaldırmaz. Bu özellikleri açık kurallar olmadan dağıtık temsiller içinde öğrenmeye çalışır.

14.2 Kodlayıcı, kod çözücü ve birleşik yapılar

Genel olarak:

• kodlayıcı ağırlıklı modeller anlama ve temsil görevlerinde,
• kod çözücü ağırlıklı modeller ardışık üretimde,
• kodlayıcı–kod çözücü modeller giriş dizisinden başka bir dizi üretmede

kullanılır.

Bu ayrım mutlak değildir; görev tasarımı ve eğitim hedefi model davranışını değiştirir.

14.3 Maskeli ve otoregresif eğitim

Maskeli dil modelinde girişte saklanan parçaların tahmini öğrenilir. Otoregresif model geçmiş bağlama göre sıradaki tokenı tahmin eder.

maskeli:
Bugün hava [MASK].

otoregresif:
Bugün -> hava -> ...

Modelin eğitim hedefi, hangi bağlam bilgisini doğrudan kullanabildiğini belirler.

14.4 Ön eğitim ve görev uyarlama

Büyük bir genel derlemde öğrenilen temsil, daha küçük görev verisiyle ince ayar yapılabilir. Bu yaklaşım özellikle etiketli verinin sınırlı olduğu dillerde önemlidir.

Bununla birlikte çok dilli ön eğitimde kaynakların eşit olmaması, yüksek kaynaklı dillerin model kapasitesinden daha fazla pay almasına yol açabilir.

Ünite 15: Çok Dilli NLP ve Diller Arası Aktarım

15.1 Ortak temsil fikri

Çok dilli modeller farklı dillerin metnini ortak parametre uzayında işler. Ortak alt sözcükler, benzer sözdizimsel yapılar ve paralel veri aktarımı destekleyebilir.

Fakat aynı tokenizer ve aynı model kullanılması diller arasında eşit temsil anlamına gelmez.

15.2 Token verimliliği

Bir Türkçe cümlenin İngilizce karşılığıyla aynı anlamı taşımasına rağmen daha fazla alt tokena ayrılması mümkündür. Bunun sonuçları:

• daha kısa etkili bağlam,
• daha yüksek çıkarım maliyeti,
• daha fazla attention işi,
• bazı morfolojik ilişkilerin parçalanması

olabilir.

Bu nedenle model kıyaslamasında yalnız "token başına hız" değil, "aynı dilsel içerik başına maliyet" de düşünülmelidir.

15.3 Aktarım ve yakın diller

Türkçe ile Azerbaycanca arasında bazı ortak örüntüler bulunabilir. Ancak ortaklık otomatik olarak doğru morfolojik aktarım üretmez. Özellikle yalancı eşdeğer sözcükler, farklı ek kullanımları ve alfabe farklılıkları hata kaynağıdır.

Diller arası aktarımın başarısı şu etkenlere bağlıdır:

• eğitim verisi miktarı,
• yazı sistemi,
• sözcük/parça paylaşımı,
• dil akrabalığı,
• görev benzerliği,
• alan benzerliği.

15.4 Çeviri

Makine çevirisi sözcükleri tek tek başka dile dönüştürmek değildir. Türkçe–İngilizce çeviride öge sırası, eklerin ayrı sözcüklere açılması, zamir düşmesi ve zaman/görünüş bilgisinin yeniden kurulması gerekebilir.

Türk dilleri arasındaki çeviride yapısal benzerlik avantaj sağlayabilir; fakat yüzey benzerliği tek başına güvenilir değildir.

Ünite 16: Bilgi Çıkarma, Sınıflandırma ve Arama

16.1 Metin sınıflandırma

Belgeye tek veya çoklu etiket atama; spam algılama, konu sınıflandırma, niyet belirleme ve içerik yönlendirme gibi görevlerde kullanılır.

Güçlü bir deney düzeni şunları ayırmalıdır:

veri hazırlama
    |
    v
özellik / temsil
    |
    v
model
    |
    v
eşik / karar
    |
    v
ölçüm

Model ile eşik aynı şey değildir. Özellikle dengesiz sınıflarda doğruluk tek başına yanıltıcı olabilir.

16.2 Duygu çözümleme

Duygu çözümleme olumlu/olumsuz sınıflandırmadan daha geniştir. Hedefe yönelik duygu, ironi, yoğunluk, karışık duygu ve alan bağımlılığı problem oluşturur.

Türkçe ekler olumsuzluk ve kip bilgisini sözcük içinde taşıyabilir. Normalizasyon sırasında bu yapı kaybedilirse sınıflandırıcının girdi bilgisi azalabilir.

16.3 Arama ve bilgi erişimi

Bilgi erişimi yalnız anlamsal vektör araması değildir. Klasik ters indeks, BM25 benzeri sıralama, alan filtreleri ve tam eşleşme birçok sistemde hâlâ kritik önemdedir.

Modern bir karma arama sistemi:

sorgu
  |
  +--> sözcüksel arama --------+
  |                            |
  +--> vektör benzerliği ------+--> yeniden sıralama --> sonuç

Türkçe aramada ekler, yazım varyasyonu, ASCII dönüşümü ve adların fonetik benzerliği aday üretimini etkileyebilir.

16.4 Fonetik aday üretimi

Sayısal Soundex ile Türkçe Fonetik Eşleme ve açık kaynak Turkish Numeric Soundex çalışmamda fonetik kodu nihai kimlik kararı olarak değil, pahalı karşılaştırmadan önce aday kümesini daraltan bir ön indeks olarak ele alıyorum.

Bu ayrım genel NLP mimarisi için önemlidir:

ucuz ve yüksek geri çağırım
        |
        v
aday üretimi
        |
        v
daha pahalı ve seçici model
        |
        v
nihai sıralama / karar

Ünite 17: Konuşma, Ses ve NLP Sınırı

17.1 ASR nerede biter, NLP nerede başlar?

Otomatik konuşma tanıma ses dalga biçimini metne dönüştürür. Ancak çıktı çoğu zaman doğrudan son kullanıcı metni değildir.

ses
 |
 v
VAD / bölümleme
 |
 v
akustik-dil modeli
 |
 v
ham transkript
 |
 v
noktalama / büyük-küçük harf / sayı normalizasyonu
 |
 v
NLP görevi

Konuşma tanıma ve NLP birbirine bağlanır; fakat aynı problem değildir.

17.2 Türkçede konuşma sonrası metin işleme

ASR çıktısında:

• noktalama eksik olabilir,
• özel adların yazımı belirsiz olabilir,
• birleşik/ayrı yazım hataları görülebilir,
• ek sınırları yanlış çözülebilir,
• konuşma dili ile yazı dili farkı bulunabilir,
• sayı ve tarihlerin yazımı normalize edilmek zorunda kalabilir.

Bu nedenle WER düşük olsa bile sonraki bilgi çıkarımı hatalı olabilir.

Sesten Konuşma Tanıma, Konuşma Tanıma Sistemlerinde Whisper Mimarisi ve Gerçek Zamanlı Konuşma Tanımada Kapasite Mühendisliği notlarım ses–metin sınırının model ve sistem tarafını ayrı düzeylerde ele alır.

17.3 Sözcük hata oranının sınırı

WER, ekleme, silme ve değiştirme hatalarını sözcük düzeyinde sayar. Türkçe gibi üretken biçimbilimli bir dilde tek bir ek hatası bütün sözcüğü yanlış sayabilir. Karakter hata oranı bu nedenle tamamlayıcı bilgi verebilir.

Fakat CER de anlamsal önemi ölçmez. Bir özel addaki tek karakter değişikliği uygulama açısından kritik olabilirken başka bir yerde aynı sayıda karakter farkı önemsiz olabilir.

Ünite 18: Büyük Dil Modelleri NLP'nin Neresindedir?

18.1 LLM, NLP'nin tamamı değildir

Büyük dil modelleri doğal dil üzerinde çok geniş görev aralığı gerçekleştirebilir. Buna rağmen NLP'nin:

• veri normalizasyonu,
• morfolojik analiz,
• arama,
• veri lisansı,
• etiketleme,
• değerlendirme,
• üretim gecikmesi,
• mahremiyet,
• dil çeşitliliği

gibi sorunları ortadan kalkmaz.

Büyük Dil Modelleri dersi Transformer, ön eğitim, sonradan eğitim, RAG, araç kullanımı, değerlendirme ve çıkarım mühendisliğine odaklanır. Bu ders ise doğal dil verisinin özelliklerini ve klasik/modern NLP görevlerini temel alır.

18.2 Üretici model ile yapılandırılmış NLP

Bir üretici modelden JSON istemek, modelin çıktısının doğrulanmış yapısal bilgi olduğu anlamına gelmez.

Güvenilir bir akış:

metin
  |
  v
LLM / NLP modeli
  |
  v
aday yapı
  |
  v
şema doğrulama
  |
  v
alan kuralları
  |
  v
kalıcı sonuç

Özellikle kritik sistemlerde doğal dil modeli ile deterministik iş kuralı arasındaki sınır açık olmalıdır.

18.3 RAG ve bilgi erişimi

Retrieval-Augmented Generation, model üretimini harici bilgi erişimiyle birleştirir. Bu yapı klasik bilgi erişimini geçersiz kılmaz; tersine, doğru belge seçimi RAG sisteminin temelidir.

Türkçe bir RAG sisteminde şu ayrıntılar doğrudan kaliteyi etkiler:

• belge bölütleme,
• ek ve yazım varyasyonları,
• çok dilli gömme modeli,
• sorgu genişletme,
• kaynak başına bağlam bütçesi,
• yeniden sıralama,
• alıntı/kaynak eşleme.

Ünite 19: Değerlendirme

19.1 Görev ölçütü görevden türemelidir

Tek bir evrensel NLP skoru yoktur.

Sınıflandırmada:

• precision,
• recall,
• F1,
• ROC/PR eğrileri,
• kalibrasyon

gibi ölçüler kullanılabilir.

Dizi etiketlemede varlık sınırının tam eşleşmesi ile token düzeyi ölçüm farklı sonuç verir.

Bağımlılık çözümlemede baş ve ilişki etiketlerinin doğruluğu ölçülür.

ASR'de WER ve CER kullanılır.

Makine çevirisinde otomatik benzerlik ölçüleri yararlı olabilir; fakat insan değerlendirmesi ve anlam korunumu ayrı konudur.

19.2 Mikro ve makro ortalama

Sınıflar dengesizse mikro ortalama büyük sınıfların etkisini büyütür. Makro ortalama her sınıfa eşit ağırlık verir.

Bu nedenle "F1 = 0.92" tek başına yeterli raporlama değildir. Hangi ortalamanın ve hangi karar eşiğinin kullanıldığı belirtilmelidir.

19.3 Dil varyantlarıyla test

Türkçe NLP değerlendirmesinde yalnız temiz haber metni kullanmak üretim davranışını göstermeyebilir. Ayrı test kümeleri şu varyantları içerebilir:

• yazım hataları,
• ASCII Türkçe,
• konuşma dökümleri,
• sosyal medya,
• kod değiştirimi,
• farklı alanlar,
• özel ad yoğun metin,
• tarih ve sayı ağırlıklı metin.

19.4 Veri dağılımı değişimi

Eğitim ve üretim dağılımları zamanla ayrışabilir. Yeni kurum adları, yeni ürünler, yeni kısaltmalar ve değişen gündem özellikle NER ve sınıflandırmada bozulma üretir.

Bu nedenle üretimde yalnız model dosyası değil, giriş dağılımı da gözlenmelidir.

Ünite 20: Üretim Mühendisliği

20.1 Model doğruluğu tek başına yeterli değildir

Bir NLP servisi şu özellikleri birlikte sağlamalıdır:

• doğruluk,
• gecikme,
• throughput,
• bellek sınırı,
• hata izolasyonu,
• tekrar üretilebilirlik,
• veri gizliliği,
• sürümleme,
• gözlemlenebilirlik.

Yüksek doğruluklu fakat beklenmeyen anda birkaç saniye duran bir model, gerçek zamanlı sistem için uygun olmayabilir.

20.2 Boru hattı sınırları

Üretimde her aşama açık sözleşmeye sahip olmalıdır:

UTF-8 metin
   |
   v
normalizasyon
   |
   v
tokenlaştırma
   |
   v
model çıkarımı
   |
   v
sonuç doğrulama
   |
   v
alan modeli

Normalizasyon kuralı değiştiğinde modelin eğitim dağılımı da değişmiş olabilir. Ön işleme kodu bu nedenle model sürümünün parçasıdır.

20.3 Toplu iş ve gerçek zaman

Toplu belge sınıflandırma throughput odaklı olabilir. Etkileşimli arama ve konuşma sistemi p95/p99 gecikmesine duyarlıdır.

GPU batch büyüklüğünü artırmak toplam throughput'u yükseltebilir; fakat tek isteğin bekleme süresini de artırabilir. NLP servisinde performans kararı görev SLA'sından türetilmelidir.

20.4 Önbellek ve deterministik aşamalar

Aynı girdiye aynı çıktıyı veren normalizasyon, biçimbilim veya gömme işlemleri uygun anahtarla önbelleğe alınabilir.

Üretici model çıktısı ise sıcaklık, örnekleme ve model sürümü nedeniyle deterministik olmayabilir. Önbellek sözleşmesi bu farkı dikkate almalıdır.

20.5 Çevrimdışı ve mahremiyet duyarlı NLP

Kişisel veya kurumsal metinler dış servise gönderilemeyebilir. Çevrimdışı çalışmada:

• model boyutu,
• CPU/GPU kapasitesi,
• model lisansı,
• güncelleme süreci,
• sözlük/veri paketi,
• loglarda hassas veri

birlikte değerlendirilmelidir.

Ünite 21: Sağlamlık, Güvenlik ve Dil Verisi

21.1 Girdi güvenilir değildir

NLP girdisi kullanıcı kontrollü olabilir. Aşırı uzun diziler, Unicode karışıklıkları, görünmez karakterler veya biçim bozucu metinler kaynak tüketimi ve güvenlik sorunu oluşturabilir.

Bir metin servisi:

boyut sınırı
kodlama doğrulama
normalizasyon politikası
zaman aşımı
kaynak kotası
çıktı şeması

gibi teknik sınırlara sahip olmalıdır.

21.2 Prompt injection NLP güvenliğinin yeni yüzüdür

LLM destekli uygulamada doğal dil artık yalnız veri değil, davranışı etkileyen talimat taşıyıcısı da olabilir. Harici belgedeki metnin sistem talimatı gibi yorumlanması güvenlik sınırlarını ihlal edebilir.

Bu konu klasik NLP'deki metin temizlemeden farklıdır; güvenlik politikası, yetki modeli ve araç sözleşmesi gerekir.

21.3 Veri mahremiyeti

Kişi adları, telefonlar, kimlik bilgileri, sağlık veya iletişim verisi metin içinde bulunabilir. Eğitim verisini "anonim" saymak için yalnız dosya adını silmek yeterli değildir.

Varlık çıkarımı, maskeleme ve yeniden tanımlama riski birlikte değerlendirilmelidir.

Ünite 22: Türkçe NLP İçin Uygulama Desenleri

22.1 Arama için normalizasyon

Bir ad veya kısa metin aramasında tek normalleştirilmiş alan bütün görevleri karşılamaz.

Daha iyi yaklaşım:

orijinal metin
   |
   +--> tam yazım indeksi
   |
   +--> küçük/büyük harf normalize indeks
   |
   +--> ASCII yardımcı indeks
   |
   +--> fonetik aday indeksi

Nihai karar için orijinal veri korunur. Yardımcı gösterimler geri döndürülemezse ana veri yerine kullanılmaz.

Bu yaklaşım Türkçe Metin Normalizasyonu ve Fonetik Eşlemede Yöntem Seçimi notumla doğrudan ilişkilidir.

22.2 Kural tabanlı heceleme

Heceleme görevi için geniş bir Transformer çalıştırmak teknik olarak mümkün olsa da her zaman gerekli değildir. Dilin düzenli alt problemi sonlu durum makinesiyle yüksek hız ve deterministik davranış sağlayabilir.

Açık kaynak Turkish Finite-State Syllabifier projem bu tasarım tercihinin örneğidir.

22.3 Fonetik ön gruplama

Ad arama probleminde fonetik kod doğrudan "aynı kişi" sonucu vermemelidir. Görevi aday üretmektir.

Açık kaynak Turkish Numeric Soundex projemde kompakt sayısal anahtar bu nedenle bir ön gruplama aracıdır; çakışmalar beklenen davranıştır.

22.4 Çoklu ortam ile dil

Metin her zaman klavyeden gelmez. OCR, ASR ve görsel konuşma tanıma gibi kaynaklardan oluşabilir. Bu durumda NLP girdisinin belirsizliği kaynak modelin hatasıyla başlar.

Doğal Dil İşleme Yönünden Çoklu Ortam notum, görüntü/ses işleme ile dil arasındaki bu sınırı daha geniş çoklu ortam bağlamında ele alır.

22.5 Açık kaynak araştırma yazılımlarıyla ilişki

Açık Kaynak Araştırma Yazılımları koleksiyonunda yer alan NLP ilişkili iki proje özellikle bu dersle doğrudan bağlantılıdır:

• Turkish Finite-State Syllabifier: sonlu durumlu, deterministik Türkçe heceleme.
• Turkish Numeric Soundex: Türkçe karakterleri dikkate alan fonetik aday gruplama.

Bu projelerin ortak yönü "NLP = mutlaka büyük sinir ağı" varsayımını reddetmeleridir. Görev küçük ve sözleşme belirliyse en uygun çözüm küçük, hızlı ve açıklanabilir olabilir.

Ünite 23: Diller Arasında Aynı Görevin Farklılaşması

23.1 Tokenlaştırma

Türkçe:

boşluk güçlü ipucu
+ üretken ekler
+ alt sözcük ve morfoloji önemli

İngilizce:

boşluk çoğu durumda iyi başlangıç
+ contraction ve çok sözcüklü ifade sorunları

Çince:

zorunlu sözcük boşluğu yok
+ bölümleme model kararının parçası

Japonca:

çoklu yazı sistemi
+ sözcük sınırı açık değil
+ morfolojik bölümleme önemli

23.2 Biçimbilim

Türkçe:

kök + ardışık üretken ekler

Arapça:

kök + kalıp + bitişik parçalar

İngilizce:

daha sınırlı çekim
+ daha fazla ayrı işlev sözcüğü

Almanca:

çekim
+ üretken bileşik sözcük

Bu farklılıklar aynı "lemmatize et" komutunun dillerde farklı mühendislik işi olacağını gösterir.

23.3 Sözdizimi

İngilizce sözcük sırasına daha fazla bağımlıdır. Türkçe durum ekleri sayesinde daha esnek diziliş gösterebilir. Çince de büyük ölçüde sözcük sırası ve işlevsel yapılar üzerinden ilişki kurar. Diller arası parser aktarımında bu farklar göz ardı edilmemelidir.

23.4 Dil modeli

Sözcük düzeyi sözlük, Türkçede üretken biçimbilim nedeniyle daha hızlı büyüyebilir. Alt sözcük çözümü bu maliyeti azaltır; ancak biçimbirim sınırlarını her zaman korumaz.

İngilizce odaklı tokenizer bir Türkçe eki gereksiz sayıda parçaya ayırabilir. Çince karakter tabanlı temsil daha doğal görünebilir, fakat karakter ile sözcük/anlam birimi aynı değildir.

Sonuç olarak "aynı model, aynı tokenizer, aynı ayar" çok dilli eşitlik değildir.

Ünite 24: Tasarım İlkeleri

Doğal dil işleme sisteminde aşağıdaki ilkeler güçlü bir başlangıç noktasıdır:

1. Dil verisini ham karakter dizisinden ibaret görmeyin.
2. Normalizasyonun hangi bilgiyi kaybettiğini belgeleyin.
3. Tokenı dilbilimsel sözcükle eşitlemeyin.
4. Türkçede biçimbilimi veri seyrekliğinin temel nedenlerinden biri olarak değerlendirin.
5. Klasik yöntemleri yalnız "eski" oldukları için elemeden önce görev maliyetini ölçün.
6. Büyük model kullanmayı başarı ölçütü saymayın.
7. Veri ayrımını belge düzeyinde ve sızıntıya dayanıklı kurun.
8. Dil ve alan değişimini ayrı test edin.
9. Ortalama doğruluk yanında hata sınıflarını inceleyin.
10. Üretimde tokenizer, normalizasyon ve model sürümünü birlikte sürümleyin.
11. Hassas metinlerde veri yaşam döngüsünü model mimarisinden önce tanımlayın.
12. Açık kuralın daha güvenli olduğu sınırı sinirsel modele devretmeyin.
13. Sinirsel modelin belirsizliği yönettiği yerde katı kurallarla gereksiz kırılganlık üretmeyin.
14. Çok dilli modelin her dili eşit temsil ettiğini varsaymayın.
15. Çıktıyı alan kuralına dönüştürmeden önce doğrulayın.

Yapay Zeka ile İlişkisi

Doğal dil işleme yapay zekânın en eski ve en sürekli problem alanlarından biridir. Bununla birlikte NLP ile yapay zekâ eş anlamlı değildir. NLP, dil verisinin temsili ve işlenmesiyle ilgilenir; yapay zekâ ise bunun yanında algılama, arama, planlama, kontrol, öğrenme, bilgi gösterimi ve karar verme gibi çok daha geniş problem sınıflarını içerir.

Yapay Zeka: Felsefe, Kuram ve Uygulama açısından doğal dil, "anlama" kavramının sınırlarını görünür hâle getirir. Bir model dilbilgisel ve bağlama uygun metin üretebilir; bu gözlem tek başına modelin bilinç, niyet veya insan benzeri kavrayış taşıdığını kanıtlamaz. Davranışsal başarı ile içsel durum hakkındaki felsefi iddia birbirinden ayrılmalıdır.

Yapay Sinir Ağları ve Öğrenme Modelleri, gömme vektörlerinden Transformer'a kadar modern NLP'nin öğrenilmiş temsil temelini sağlar. NLP ise bu modellerin üzerinde çalıştığı dilsel birimlerin, veri hatalarının ve görevlerin özelliklerini açıklar.

İstatistiksel Öğrenme ve Makine Öğrenmesi, Naive Bayes, HMM, sınıflandırma, genelleme, değerlendirme ve dağılım değişimi gibi NLP'nin klasik ve modern dönemlerinde ortak kalan ilkeleri sağlar. Dil modeli de temelde gözlenen dizilerden olasılıksal düzen öğrenme problemidir.

Mantıksal Programlama ve Prolog, NLP'nin sembolik tarafıyla ilişkilidir. Dilbilgisi, anlamsal çözümleme, bilgi gösterimi ve kural tabanlı çıkarım doğal dil çıktısını açık ilişkilere dönüştürmek için kullanılabilir. Güncel sistemlerde üretici modelin çıkardığı aday ilişkilerin Prolog, kural motoru veya biçimsel doğrulayıcıyla sınanması nöro-sembolik bir mimari oluşturabilir.

Bulanık Mantık dildeki "yüksek", "yakın", "yeterli" gibi dereceli kavramların üyelik temsiliyle modellenebileceğini gösterir. Bir dil modelinin token olasılığı ile bulanık üyelik derecesi aynı kavram değildir; bu iki değer farklı modelleme sorularına cevap verir.

Genetik Algoritmalar ve Uygulamaları doğrudan NLP yöntemi değildir; fakat özellik seçimi, hiperparametre arama, istem veya kural dizisi optimizasyonu gibi dış optimizasyon problemlerinde kullanılabilir.

Büyük Dil Modelleri modern NLP'nin üretici ve genel amaçlı model katmanını ayrıntılandırır. Bu dersin temel ayrımı şudur:

NLP
  = dil verisi + temsil + görev + ölçüm + sistem

LLM
  = NLP görevlerinin büyük bölümünü gerçekleştirebilen
    güçlü bir model ailesi

LLM != NLP'nin tamamı

Doğal dil işleme tarihi kural tabanlı dilbilgilerinden istatistiksel modellere, sinirsel temsillere ve büyük dil modellerine uzanır. En sağlam mühendislik yaklaşımı bu dönemlerden birini ideolojik olarak seçmek değil, problemin hangi bölümünün açık kurala, hangi bölümünün veriden öğrenmeye, hangi bölümünün ise biçimsel doğrulamaya ihtiyaç duyduğunu belirlemektir.

Kaynakça

Türkçe doğal dil işleme ve dil kaynakları

• Kemal Oflazer; Murat Saraçlar (ed.). Turkish Natural Language Processing. Springer, 2018. DOI: https://doi.org/10.1007/978-3-319-90165-7
• Kemal Oflazer. “Two-level Description of Turkish Morphology.” Literary and Linguistic Computing, 9(2), 1994, 137–148. DOI: https://doi.org/10.1093/llc/9.2.137
• Haşim Sak; Tunga Güngör; Murat Saraçlar. “Resources for Turkish Morphological Processing.” Language Resources and Evaluation, 45(2), 2011, 249–261. DOI: https://doi.org/10.1007/s10579-010-9128-6
• Utku Türk et al. “Resources for Turkish Dependency Parsing: Introducing the BOUN Treebank and the BoAT Annotation Tool.” Language Resources and Evaluation, 56, 2022, 259–307. DOI: https://doi.org/10.1007/s10579-021-09558-0
• Universal Dependencies. UD Turkish BOUN. https://universaldependencies.org/treebanks/tr_boun/
• Universal Dependencies. UD Turkish IMST. https://universaldependencies.org/treebanks/tr_imst/

Klasik NLP, dilbilgisi ve istatistiksel yöntemler

• Steven Bird; Ewan Klein; Edward Loper. Natural Language Processing with Python. O’Reilly Media, 2009. ISBN 978-0-596-51649-9.
• Frederick Jelinek. Statistical Methods for Speech Recognition. MIT Press, 1997.
• Stanley F. Chen; Joshua Goodman. “An Empirical Study of Smoothing Techniques for Language Modeling.” Harvard Computer Science Group Technical Report TR-10-98, 1998.
• John Lafferty; Andrew McCallum; Fernando Pereira. “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data.” ICML, 2001.
• Fernando C. N. Pereira; David H. D. Warren. “Definite Clause Grammars for Language Analysis.” Artificial Intelligence, 13(3), 1980, 231–278.
• Marie-Catherine de Marneffe; Christopher D. Manning; Joakim Nivre; Daniel Zeman. “Universal Dependencies.” Computational Linguistics, 47(2), 2021, 255–308. DOI: https://doi.org/10.1162/coli_a_00402

Alt sözcükler ve dağıtımsal temsil

• Tomas Mikolov et al. “Efficient Estimation of Word Representations in Vector Space.” 2013. https://arxiv.org/abs/1301.3781
• Jeffrey Pennington; Richard Socher; Christopher D. Manning. “GloVe: Global Vectors for Word Representation.” EMNLP, 2014. https://aclanthology.org/D14-1162/
• Piotr Bojanowski et al. “Enriching Word Vectors with Subword Information.” Transactions of the Association for Computational Linguistics, 5, 2017, 135–146. https://aclanthology.org/Q17-1010/
• Rico Sennrich; Barry Haddow; Alexandra Birch. “Neural Machine Translation of Rare Words with Subword Units.” ACL, 2016. https://aclanthology.org/P16-1162/
• Taku Kudo; John Richardson. “SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing.” EMNLP System Demonstrations, 2018. DOI: https://doi.org/10.18653/v1/D18-2012

Sinirsel NLP ve Transformer

• Ilya Sutskever; Oriol Vinyals; Quoc V. Le. “Sequence to Sequence Learning with Neural Networks.” NeurIPS, 2014.
• Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio. “Neural Machine Translation by Jointly Learning to Align and Translate.” ICLR, 2015. https://arxiv.org/abs/1409.0473
• Ashish Vaswani et al. “Attention Is All You Need.” NeurIPS, 2017. https://arxiv.org/abs/1706.03762
• Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” 2018. https://arxiv.org/abs/1810.04805
• Alexis Conneau et al. “Unsupervised Cross-lingual Representation Learning at Scale.” 2019. https://arxiv.org/abs/1911.02116
• Marta R. Costa-jussà et al. “No Language Left Behind: Scaling Human-Centered Machine Translation.” 2022. https://arxiv.org/abs/2207.04672
• Alec Radford et al. “Robust Speech Recognition via Large-Scale Weak Supervision.” 2022. https://arxiv.org/abs/2212.04356

Güncel genel başvuru

• Daniel Jurafsky; James H. Martin. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. 3rd edition online manuscript, August 19, 2026. https://web.stanford.edu/~jurafsky/slp3/