MFCC ile Konuşma Özellik Çıkarımı

Mel Frekansı Kepstrum Katsayıları, kısa süreli konuşma spektrumunun algısal frekans ekseninde sıkıştırılmış bir temsilidir. MFCC hesabı tek bir dönüşümden değil; çerçeveleme, pencereleme, spektral enerji, Mel filtre bankası, logaritma ve ayrık kosinüs dönüşümünden oluşan bir işlem zincirinden meydana gelir.

Konuşma sesi ayrıştırma ve konuşmacı tanıma çalışmalarında kullanılan MFCC/GMM hattı, ses iyileştirmenin öznitelik vektörleri ve tanıma doğruluğu üzerindeki etkisini doğrudan görünür kılar. MFCC bu nedenle yalnız formüllerden oluşan bir dönüşüm değil; çerçeveleme, ön işleme ve parametrelerin birlikte tanımlandığı bir özellik sözleşmesidir.

Kısa Süreli Konuşma Modeli

Konuşma sinyali uzun zaman aralıklarında durağan değildir. Buna karşılık 20-30 ms düzeyindeki kısa çerçevelerde ses yolu davranışı yaklaşık durağan kabul edilebilir. Örnekleme hızı f_s, çerçeve uzunluğu N ve çerçeve kayması H olmak üzere işlem, örtüşen kısa pencereler üzerinde yürütülür.

frame_m[n] = x[mH + n] · w[n]

Buradaki w[n] çoğunlukla Hamming benzeri bir pencere fonksiyonudur. Pencereleme, çerçeve sınırlarındaki süreksizliğin spektruma yayılmasını azaltır. Ön vurgu bazı klasik işlem hatlarında kullanılır; ancak zorunlu değildir ve eğitim ile çıkarım aşamalarında aynı yapılandırma korunmalıdır.

Spektral Enerji ve Mel Filtre Bankası

Her çerçeve için Fourier dönüşümü alınır ve güç spektrumu hesaplanır:

P[k] = |X[k]|² / N

MFCC doğrudan bütün FFT binlerini kullanmaz. Frekans ekseni, insan işitmesindeki yaklaşık frekans ayırt etme davranışını temsil eden Mel ölçeğine dönüştürülür. Yaygın eşlemelerden biri şöyledir:

mel(f) = 2595 · log10(1 + f / 700)

Mel ekseninde eşit aralıklarla seçilen noktalar tekrar Hertz eksenine taşınır ve çoğunlukla üçgen biçimli filtreler oluşturulur. Her filtrenin çıkışı, güç spektrumundaki ilgili binlerin ağırlıklı toplamıdır:

E_m = Σ P[k] · H_m[k]

Filtre sayısı, alt ve üst frekans sınırı, FFT boyutu ve örnekleme hızı özellik vektörünü doğrudan değiştirir. Aynı adı taşıyan iki kütüphane farklı varsayılan değerler kullanıyorsa ürettikleri MFCC vektörleri eşdeğer değildir.

Logaritma ve Kepstral Dönüşüm

Filtre bankası enerjilerine logaritma uygulanır. Bu işlem hem geniş dinamik aralığı sıkıştırır hem de kaynak-filtre modelindeki çarpımsal bileşenlerin toplamsal biçimde ele alınmasını kolaylaştırır. Sıfır veya çok küçük enerji için belirli bir alt sınır kullanılmalıdır:

L_m = log(max(E_m, epsilon))

Ardından çoğunlukla ikinci tür ayrık kosinüs dönüşümü uygulanır:

c_r = Σ L_m · cos(πr(m + 0,5) / M)

Düşük sıralı katsayılar spektral zarfın daha yavaş değişen bileşenlerini temsil eder. Yüksek sıralı katsayıların atılması boyutu düşürür; ancak faz bilgisi, ince harmonik yapı ve bazı konuşmacı özellikleri kaybolur. İlk katsayının kullanılması, log enerjiyle değiştirilmesi veya tamamen çıkarılması sistem tasarımına bağlıdır.

Zaman Türevleri ve Normalizasyon

Tek bir çerçevenin MFCC vektörü zamansal hareketi açıklamaz. Klasik konuşma tanıma sistemlerinde birinci ve ikinci zaman türevleri eklenerek delta ve delta-delta özellikleri oluşturulur. Hesap penceresi ve kenar doldurma politikası eğitim ile üretimde aynı olmalıdır.

Kanal ve kayıt koşullarındaki yavaş değişimleri azaltmak için kepstral ortalama normalizasyonu veya ortalama-varyans normalizasyonu uygulanabilir. Çevrim içi sistemlerde gelecekteki çerçeveler kullanılamadığı için normalizasyon penceresi ve gecikme davranışı ayrıca tanımlanmalıdır.

Üretim Sistemlerinde Belirleyici Ayrıntılar

MFCC zinciri aşağıdaki parametrelerin tamamıyla birlikte bir özellik sözleşmesidir:

• Örnekleme hızı ve yeniden örnekleme yöntemi
• Çerçeve uzunluğu ve kayması
• Pencere fonksiyonu
• FFT boyutu ve spektrum normalizasyonu
• Mel ölçeği ve filtre bankası tanımı
• Frekans sınırları
• Logaritmanın tabanı ve enerji alt sınırı
• DCT türü ve normalizasyonu
• Katsayı sayısı ve ilk katsayı politikası
• Delta ve normalizasyon ayarları

Bir model belirli bir sözleşmeyle eğitildiyse çıkarım sırasında küçük görünen bir değişiklik bile özellik dağılımını kaydırabilir. Bu nedenle yalnız katsayı sayısını eşitlemek yeterli değildir; bütün ön işleme zinciri test vektörleriyle doğrulanmalıdır.

Güncel Modellerdeki Yeri

Yeni nesil konuşma modelleri MFCC kullanmak zorunda değildir. Log-Mel spektrogramları veya doğrudan dalga biçimi üzerinde öğrenilen temsiller yaygındır. Bu durum MFCC'nin geçersiz olduğu anlamına gelmez. MFCC; düşük boyut, yorumlanabilir işlem zinciri, sınırlı hesaplama maliyeti ve klasik akustik modellerle uyumluluk gereken sistemlerde hala değerlidir. Doğru seçim, model mimarisinden önce gecikme, kaynak, veri miktarı, kanal değişkenliği ve doğrulanabilirlik gereksinimlerine göre yapılmalıdır.

Cepstrum ile Kapsam Ayrımı

Bu yazı MFCC'nin uygulamalı özellik çıkarım zincirine odaklanır. Spektrum, log genlik, cepstrum ve homomorfik yorum arasındaki matematiksel ilişkiyi daha genel düzeyde Ses İşlemede Spektrumdan Cepstruma yazısında ele alıyorum.

Kaynakça

• Lawrence R. Rabiner; Ronald W. Schafer. (1978). Digital Processing of Speech Signals. Prentice-Hall.

• Steven Davis; Paul Mermelstein. (1980). Comparison of Parametric Representations for Monosyllabic Word Recognition in Continuously Spoken Sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366. doi:10.1109/TASSP.1980.1163420