Sesten Konuşma Tanıma

Konuşma tanıma, akustik işareti sözcük, alt-sözcük veya karakter dizisine dönüştürür. Problem akustik temsil, zaman hizalama, dil bilgisi ve arama bileşenlerini bir araya getirir.

Göreve Göre Konuşma Tanıma

Konuşma tanıma sistemleri tarihsel olarak beklenen konuşma yapısına göre de sınıflandırılmıştır. Bu ayrım güncel modellerde mutlak sınırlar halinde kullanılmasa da problemin zorluğunu anlamak için hâlâ yararlıdır.

Ayrışık sözcük tanıma: Kullanıcının tek tek sözcükler veya kısa komutlar söylemesi beklenir. Sözcük sınırları görece belirgindir ve söz dağarcığı küçük tutulabilir.

Sözcük yakalama: Sürekli ses akışı içinden belirli sözcük veya ifadelerin bulunması amaçlanır. Sistem bütün konuşmayı eksiksiz yazıya çevirmek zorunda değildir; hedef olayın nerede geçtiğini saptamak yeterli olabilir.

Sürekli konuşma tanıma: Doğal akıştaki konuşmanın ardışık sözcük dizisine dönüştürülmesini hedefler. Sözcük sınırları açık değildir; konuşma hızı, sesbirim geçişleri, duraksamalar ve bağlam birlikte etkili olur.

Bugünkü uçtan uca modeller bu görevleri aynı temel mimari üzerinde çözebilir. Buna rağmen segmentasyon, gecikme, arama uzayı ve hata maliyeti kullanım senaryosuna göre değişmeye devam eder.

Şablon Eşleme ve Dinamik Zaman Bükme

Küçük söz dağarcıklı erken konuşma tanıma sistemlerinde test örneğini kayıtlı sözcük şablonlarıyla karşılaştırmak yaygın bir yaklaşımdı. Aynı sözcük farklı hızlarda söylendiğinde iki öznitelik dizisinin zaman eksenleri doğrudan çakışmaz.

Dinamik zaman bükme (Dynamic Time Warping, DTW), iki dizinin zaman eksenini doğrusal olmayan biçimde hizalayarak düşük maliyetli bir eşleşme yolu arar. Böylece bir bölümün diğerine göre daha hızlı veya daha yavaş söylenmesi belirli sınırlar içinde karşılaştırılabilir.

DTW olasılıksal dil modeli veya büyük söz dağarcıklı sürekli konuşma çözümleyicisinin yerine geçmez. Buna karşılık şablon eşleme, küçük komut kümeleri ve zaman serisi benzerliği açısından konuşma tanıma tarihinin önemli yöntemlerinden biridir. HMM yaklaşımı daha sonra zaman içindeki durum geçişlerini ve gözlem olasılıklarını istatistiksel model içinde ele alarak daha geniş bir çerçeve sağladı.

Klasik mimariler

Geleneksel sistemlerde MFCC benzeri öznitelikler, akustik model, HMM durumları, telaffuz sözlüğü ve n-gram dil modeli birlikte kullanılır. WFST tabanlı çözümleme bu bileşenleri tek arama grafiğinde birleştirebilir.

n-gram dil modeli

n-gram dil modeli, sözcük dizisinin olasılığını tam geçmiş yerine son n-1 birime koşullayarak yaklaşıklar. Bigram yalnız önceki sözcüğü, trigram önceki iki sözcüğü bağlam olarak kullanır. Eğitim verisinde görülmeyen dizilerin sıfır olasılık üretmemesi için smoothing, backoff veya interpolation uygulanabilir.

Klasik çözümlemede akustik skor ile dil modeli skoru birlikte değerlendirilir. Akustik olarak benzer iki aday arasında dilsel bağlam karar verebilir; buna karşılık güçlü bir dil modeli yanlış akustik hipotezi de aşırı destekleyebilir. Bu yüzden acoustic/language-model ağırlığı ve kelime ekleme cezası gibi parametreler doğrulama verisi üzerinde ayarlanır.

n-gram'ın olasılıksal temeli ve HMM ile ilişkisi İstatistiksel Öğrenme ve Makine Öğrenmesi notunda ele alınır.

Uçtan uca modeller

Konuşma tanıma sistemlerinde CTC kare-seviye hizalama gereksinimini azaltır. RNN-T akışkan çözümleme için uygundur. Transformer ve Conformer yapıları uzun bağlamı etkili biçimde modelleyebilir.

Uçtan uca mimari, VAD, yeniden örnekleme, kanal yönetimi ve segmentasyon gereksinimini ortadan kaldırmaz. Bu katmanlar model girdisinin yapısını belirler.

Tanımayı Etkileyen Koşullar

Aynı model farklı kayıt koşullarında aynı hata dağılımını üretmez. Tanıma başarımını etkileyen başlıca değişkenler arasında konuşmacı farklılığı, konuşma hızı, vurgu, lehçe, mikrofon ve codec, yankı, arka plan gürültüsü, kanal bant genişliği ve hedef söz dağarcığı bulunur.

Kısa ve kontrollü komutlarla eğitilmiş bir sistemin serbest konuşmaya, temiz yakın alan kaydıyla geliştirilmiş bir modelin telefon hattına veya sessiz ortam verisiyle eğitilmiş bir modelin gürültülü sahaya doğrudan genellenmesi beklenmemelidir.

Bu nedenle hata analizi yalnız toplam WER ile bitmez. Kayıt kaynağı, gürültü düzeyi, konuşmacı grubu, sözcük türü, özel adlar ve sayılar gibi anlamlı dilimlerde hata dağılımı ayrıca incelenmelidir.

Ön vurgu, çerçeveleme, pencereleme ve tayfsal öznitelikler Seste Öznitelik Vektörleri ve Eşleştirme, gürültü azaltma ve süzgeç davranışı ise Ses Onarma ve İyileştirme bölümünde ele alınır.

Alan uyumu

Teknik terimler, kişi adları ve kuruma özgü kelimeler genel dil modelinde zayıf temsil edilebilir. Contextual biasing, rescoring ve alan uyarlama bu tür söz varlığını güçlendirebilir.

WER temel hata ölçüsüdür. Sayılar, özel adlar ve kritik terimler ayrıca değerlendirildiğinde sistemin gerçek kullanım başarımı daha iyi görülür.

Gerçek zaman sistemlerinde WER yanında gerçek zaman faktörü, segment gecikmesi, zaman damgası doğruluğu ve sonuç kararlılığı da izlenir.

Üst konu: Görüntü ve Ses İşleme

Kaynakça

• Alex Graves; Santiago Fernández; Faustino Gomez; Jürgen Schmidhuber. Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks. Proceedings of ICML 2006, 2006.

• Lawrence R. Rabiner; Ronald W. Schafer. Theory and Applications of Digital Speech Processing. Pearson, 2011.