Doğal Dil İşleme Yönünden Çoklu Ortam

Çoklu ortam sistemleri görüntü ve sesle başlasa da birçok uygulamanın çıktısı metindir. OCR görüntüdeki yazıyı, konuşma tanıma ise konuşmayı metne dönüştürür; doğal dil işleme bu metinleri sınıflandırılabilir, aranabilir ve yapılandırılabilir hale getirir.

Dilbilimsel Çözümleme Katmanları

Doğal dilde bir cümleyi işlemek yalnız sözcükleri ayırmak değildir. Klasik çözümleme hattı biçimbilim, sözdizimi ve anlambilim katmanlarını birbirinden ayırır. Bu katmanlar güncel sinir ağı modellerinde ortak temsiller içinde öğrenilebilse de hata analizi ve veri hazırlamada ayrım hâlâ yararlıdır.

Biçimbilim

Biçimbilimsel çözümleme sözcüğün kökünü, aldığı ekleri ve sözcük türünü belirlemeye çalışır. Türkçe gibi eklemeli dillerde tek bir yüzey biçimi çok sayıda biçimbirim taşıyabilir. Kişi, zaman, iyelik, çoğul, durum ve olumsuzluk gibi bilgiler aynı sözcük üzerinde birleşebilir.

OCR veya ASR hatası yalnız bir karakteri ya da heceyi bozsa bile yanlış kök veya ek çözümlemesine yol açabilir. Bu nedenle gürültülü çoklu ortam metninde biçimbilimsel hata, sonraki varlık ve ilişki çıkarımına taşınabilir.

Sözdizimi

Sözdizimsel çözümleme, sözcüklerin cümle içinde hangi yapısal ilişkilerle bağlandığını inceler. Bağımlılık çözümlemesi yüklem ile özne, nesne ve tümleçler arasındaki ilişkileri; öbek yapısı ise sözcüklerin daha büyük dilsel birimler halinde nasıl örgütlendiğini gösterebilir.

Sözcük sırasının değişebildiği dillerde yalnız konuma dayalı kurallar yetersiz kalabilir. Biçimbilimsel işaretler ve bağlam sözdizimsel çözümlemeyi destekler.

Anlambilim

Anlamsal çözümleme, sözcük ve cümle yapısının hangi kavram, varlık, olay veya ilişkilere karşılık geldiğini araştırır. Çok anlamlı sözcükler, gönderimler ve eksiltili ifadeler bağlam gerektirir.

Bu katmanda adlandırılmış varlık tanıma, ilişki çıkarımı, anlam benzerliği ve soru yanıtlama gibi görevler devreye girer. Modern embedding ve Transformer temsilleri bu görevleri ortak bağlamsal uzaylarda çözebilir; buna rağmen modelin verdiği benzerlik skoru ile doğrulanmış olgusal ilişki aynı şey değildir.

Diyalog ve Bağlam

Diyalogda tek cümle çoğu zaman yeterli bağlamı taşımaz. Önceki konuşma turları, konuşmacı rolü, zaman ve ortak gönderimler anlamı değiştirir. “Evet”, “onu gönder” veya “dünkü kayıt” gibi ifadeler yalnız önceki bağlamla çözülebilir.

Çoklu ortam sisteminde diyalog çözümlemesi zaman damgalarıyla birlikte tutulduğunda metin, özgün ses/video bölümü ve konuşmacı bilgisi aynı olay üzerinde ilişkilendirilebilir.

Gürültülü metin

OCR ve ASR çıktıları hata içerir. Karakter veya sözcük hataları varlık çıkarımı, arama ve özetleme aşamalarına taşınabilir. Ham model çıktısı, düzeltilmiş metin ve güven skorları ayrı saklandığında sonraki kararların kaynağı izlenebilir.

Token düzeyindeki zaman damgaları da metni özgün ses veya video aralığıyla ilişkilendirir.

İstatistiksel Metin Temsilleri

Sinir ağı temsillerinden önce metin, sayım ve olasılık tabanlı yöntemlerle de güçlü biçimde modellenmiştir. Bag-of-Words, belgenin sözcük sıklıklarını tutar; TF-IDF sık görülen fakat ayırt ediciliği düşük sözcüklerin ağırlığını azaltır. Bu temsiller seyrektir fakat hangi terimin karara katkı verdiğini incelemek görece kolaydır.

n-gram, art arda gelen n karakter, sözcük veya tokenın oluşturduğu dizidir. Unigram tek birimi, bigram iki, trigram üç ardışık birimi kullanır. Böylece unigramın kaybettiği yerel sıra bilgisinin bir bölümü modele eklenebilir. Özellikle Türkçe gibi eklemeli dillerde karakter n-gram'ları yazım ve biçimbirim varyasyonlarına karşı yararlı olabilir.

Metin sınıflandırmada n-gram/TF-IDF özellikleri lojistik regresyon, Naive Bayes, SVM veya benzeri klasik sınıflandırıcılara verilebilir. Naive Bayes sözcük veya n-gram sayımlarını sınıf-koşullu olasılıklar olarak işler. Bu yöntemlerin ortak istatistiksel temeli İstatistiksel Öğrenme ve Makine Öğrenmesi bölümünde; klasik dil modelinin konuşma tanımındaki kullanımı Sesten Konuşma Tanıma bölümünde ele alınır.

Temsil ve bilgi çıkarımı

TF-IDF seyrek ve açıklanabilir bir metin temsili sağlar. Yoğun embedding'ler anlamsal benzerlik için kullanılır. Transformer tabanlı encoder'lar sınıflandırma, adlandırılmış varlık tanıma ve ilişki çıkarımı gibi görevlerde bağlamsal temsil üretir.

Doğal dil işleme, OCR ve ASR sonucunu yalnız metin olarak saklamak yerine yapısal bilgiye dönüştürmeye yardımcı olur.

Arama ve çok kipli temsil

Ters indeksler kesin sözcük araması, vektör indeksleri ise anlamsal arama sağlar. İki yöntem birlikte kullanıldığında farklı hata türlerine karşı daha dengeli sonuç elde edilebilir.

Çok kipli öğrenme, metni görüntü nesneleri, yüzler, konuşmacılar ve akustik olaylarla ortak zaman çizelgesinde ilişkilendirebilir. Kaynak metin, türetilmiş özet ve model yorumu birbirinden ayrı tutulduğunda sistemin izlenebilirliği korunur.

Uzun Konuşma Dökümlerinde Özet ve Kaynak Sürekliliği

Konuşmadan çıkarılan metin, önceki bölümlerde açıklanan biçimbilimsel ve anlamsal sorunlara ek olarak zamanla ilgili bir temsil sorunu taşır. Ses tanıma segmenti, cümle, konuşmacı dönüşü ve paragraf farklı birimlerdir. Okunabilir bir metin oluştururken komşu segmentler birleştirilebilir; fakat birleşen cümlenin hangi kaynak segmentlerden oluştuğu kaybolmamalıdır. Bu ayrım olmadan metindeki doğru bir cümleye yanlış ses aralığı bağlanabilir.

Uzun görüşmenin seçici özetinde önce konuşmacı ve varsa zaman aralığı bakımından güvenli bölümler oluşturulur. Her bölümde önemli cümle adayları belirlenir; ikinci aşamada bölümler arasında konu kapsamı ve tekrar azaltma uygulanır. Cümlenin sık tekrar edilmesi tek başına önem ölçütü değildir. Tek kez dile getirilen olumsuz bir cevap, değişen bir tarih veya karşıt bir değerlendirme, çok tekrar edilen genel ifadelerden daha yüksek bilgi değeri taşıyabilir. Başlığa dayalı veya konu odaklı bir özet, kaynağın taşıdığı anlamı aşan sonuçlar üretmemelidir.

Her seçilmiş ifade için belge kimliği, özgün alıntı ve karakter aralığı tutulur. Gerçek konuşmacı veya zaman bilgisi bulunuyorsa bu alanlar ilişkilendirilir; veri düz metne indirgenmişse tahmini zaman ya da konuşmacı kimliği üretilmez. Kaynak belirli uzunlukta kesildiğinde özet de kısmi sayılır. Böylece transkripsiyon, okunabilir metin ve özet üç farklı türev olarak yönetilir; hiçbiri özgün kayıtla karıştırılmaz.

Üst konu: Görüntü ve Ses İşleme

Kaynakça

• Daniel Jurafsky; James H. Martin. Speech and Language Processing, Second Edition. Prentice Hall, 2009.

• Kemal Oflazer. Two-level Description of Turkish Morphology. Literary and Linguistic Computing, 9(2), 137–148, 1994. doi:10.1093/llc/9.2.137

• Stuart Russell; Peter Norvig. Artificial Intelligence: A Modern Approach, Fourth Edition. Pearson, 2020.