Doğal Dil İşleme Yönünden Çoklu Ortam
OCR ve ASR çıktılarının NLP ile sınıflandırılması, varlık çıkarımı, aranması ve çok kipli temsillerle birleştirilmesi üzerine teknik yaklaşım.
Çoklu ortam sistemleri görüntü ve sesle başlasa da birçok uygulamanın çıktısı metindir. OCR görüntüdeki yazıyı, ASR konuşmayı metne dönüştürür; doğal dil işleme bu metinleri sınıflandırılabilir, aranabilir ve yapılandırılabilir hale getirir.
Gürültülü metin
OCR ve ASR çıktıları hata içerir. Karakter veya sözcük hataları varlık çıkarımı, arama ve özetleme aşamalarına taşınabilir. Ham model çıktısı, düzeltilmiş metin ve güven skorları ayrı saklandığında sonraki kararların kaynağı izlenebilir.
Token düzeyindeki zaman damgaları da metni özgün ses veya video aralığıyla ilişkilendirir.
Temsil ve bilgi çıkarımı
TF-IDF seyrek ve açıklanabilir bir metin temsili sağlar. Yoğun embedding'ler anlamsal benzerlik için kullanılır. Transformer tabanlı encoder'lar sınıflandırma, adlandırılmış varlık tanıma ve ilişki çıkarımı gibi görevlerde bağlamsal temsil üretir.
Doğal dil işleme, OCR ve ASR sonucunu yalnız metin olarak saklamak yerine yapısal bilgiye dönüştürmeye yardımcı olur.
Arama ve çok kipli temsil
Ters indeksler kesin sözcük araması, vektör indeksleri ise anlamsal arama sağlar. İki yöntem birlikte kullanıldığında farklı hata türlerine karşı daha dengeli sonuç elde edilebilir.
Çok kipli öğrenme, metni görüntü nesneleri, yüzler, konuşmacılar ve akustik olaylarla ortak zaman çizelgesinde ilişkilendirebilir. Kaynak metin, türetilmiş özet ve model yorumu birbirinden ayrı tutulduğunda sistemin izlenebilirliği korunur.
