Seste Öznitelik Vektörleri ve Eşleştirme

Ön vurgu, çerçeveleme, pencereleme, FFT/STFT, zaman ve tayf öznitelikleri, MFCC, perde/formant ve öğrenilmiş ses-konuşmacı gömme vektörleri üzerinden öznitelik çıkarımı.

Ses öznitelikleri, ham dalga biçimini eşleştirme, sınıflandırma ve tanıma için daha kararlı temsillere dönüştürür. Göreve göre zaman alanı, frekans alanı veya öğrenilmiş gömme vektörleri kullanılabilir.

Ön İşleme: Ön Vurgu, Çerçeveleme ve Pencereleme

Klasik konuşma işleme hatlarında uzun kayıt doğrudan tek parça halinde analiz edilmez. Konuşmanın kısa zaman aralıklarında yaklaşık durağan kabul edilebilmesinden yararlanılarak sinyal çerçevelere bölünür ve her çerçeve ayrı incelenir.

Ön vurgu filtresi yüksek frekans bileşenlerini göreli olarak güçlendirmek için tarihsel olarak sık kullanılmıştır. Basit bir biçimi:

y[n] = x[n] - α x[n-1]

şeklindedir. α sabiti uygulamaya göre seçilir. Ön vurgu her modern model için zorunlu değildir; özellikle ham dalga veya log-Mel girdisi kullanan sistemlerde eğitim hattıyla aynı ön işleme uygulanması daha önemlidir.

Çerçeve sınırında sinyali doğrudan kesmek tayfsal sızıntıyı artırabilir. Hamming veya benzeri pencere işlevleri çerçevenin uçlarını yumuşatır. Pencere uzunluğu ve kayma miktarı zaman çözünürlüğü ile frekans çözünürlüğü arasındaki dengeyi belirler.

FFT, pencere uygulanmış çerçeveyi frekans bileşenlerine ayırmak için verimli bir hesaplama yoludur. STFT bu işlemi ardışık çerçeveler üzerinde tekrarlayarak zaman-frekans gösterimi üretir. MFCC, filtre bankası ve kepstral dönüşüm gibi sonraki adımlar bu kısa zamanlı tayfsal yapı üzerine kurulabilir.

Zaman ve frekans öznitelikleri

Kısa zamanlı enerji ve zero-crossing rate düşük maliyetli zaman alanı ölçüleridir. STFT, kısa pencereler içindeki frekans bileşenlerini hesaplayarak zaman-frekans gösterimi oluşturur. Pencere uzunluğu zaman ve frekans çözünürlüğü arasında doğrudan denge kurar.

MFCC ve tayfsal temsiller

Dalga biçiminden çerçeveleme, FFT, Mel süzgeç bankası, logaritma ve DCT üzerinden MFCC katsayılarına giden öznitelik çıkarım hattı — MFCC öznitelik çıkarımı

MFCC, Mel filtre bankası enerjilerinin logaritmik ve kepstral dönüşümünden elde edilir. Konuşma tanıma ve konuşmacı modellemede uzun süre temel özniteliklerden biri olmuştur.

Pitch, formant, spectral slope, jitter ve shimmer sesin farklı fiziksel veya algısal özelliklerini temsil eder.

Öğrenilmiş gömmeler

Güncel sistemler bir ses parçasını doğrudan yoğun konuşmacı gömme vektörüne veya genel ses embedding'ine dönüştürebilir. Eşleştirme kosinüs benzerliği, PLDA veya öğrenilmiş skorlayıcılarla yapılabilir.

Kanal, mikrofon, codec ve akustik ortam temsil dağılımını değiştirebilir. Bu nedenle normalizasyon ve alan uyumu öznitelik hattının bir parçasıdır.

Büyük veri kümelerinde vektör boyutu depolama, indeks hacmi ve sorgu gecikmesini de belirler.

Üst konu: Görüntü ve Ses İşleme

Kaynakça

Alan V. Oppenheim; Ronald W. Schafer. Discrete-Time Signal Processing, Third Edition. Pearson, 2010.

Lawrence R. Rabiner; Ronald W. Schafer. Theory and Applications of Digital Speech Processing. Pearson, 2011.