MFCC ile Konuşma Özellik Çıkarımı

Mel Frekansı Kepstrum Katsayıları, kısa süreli konuşma spektrumunun algısal frekans ekseninde sıkıştırılmış bir temsilidir. MFCC hesabı tek bir dönüşümden değil; çerçeveleme, pencereleme, spektral enerji, Mel filtre bankası, logaritma ve ayrık kosinüs dönüşümünden oluşan bir işlem zincirinden meydana gelir.

Konuşma sesi ayrıştırma ve konuşmacı tanıma çalışmalarında kullanılan MFCC/GMM hattı, ses iyileştirmenin öznitelik vektörleri ve tanıma doğruluğu üzerindeki etkisini doğrudan görünür kılar. MFCC bu nedenle yalnız formüllerden oluşan bir dönüşüm değil; çerçeveleme, ön işleme ve parametrelerin birlikte tanımlandığı bir özellik sözleşmesidir.

Kısa Süreli Konuşma Modeli

Konuşma sinyali uzun zaman aralıklarında durağan değildir. Buna karşılık 20-30 ms düzeyindeki kısa çerçevelerde ses yolu davranışı yaklaşık durağan kabul edilebilir. Örnekleme hızı f_s, çerçeve uzunluğu N ve çerçeve kayması H olmak üzere işlem, örtüşen kısa pencereler üzerinde yürütülür.

frame_m[n] = x[mH + n] · w[n]

Buradaki w[n] çoğunlukla Hamming benzeri bir pencere fonksiyonudur. Pencereleme, çerçeve sınırlarındaki süreksizliğin spektruma yayılmasını azaltır. Ön vurgu bazı klasik işlem hatlarında kullanılır; ancak zorunlu değildir ve eğitim ile çıkarım aşamalarında aynı yapılandırma korunmalıdır.

Spektral Enerji ve Mel Filtre Bankası

Her çerçeve için Fourier dönüşümü alınır ve güç spektrumu hesaplanır:

P[k] = |X[k]|² / N

MFCC doğrudan bütün FFT binlerini kullanmaz. Frekans ekseni, insan işitmesindeki yaklaşık frekans ayırt etme davranışını temsil eden Mel ölçeğine dönüştürülür. Yaygın eşlemelerden biri şöyledir:

mel(f) = 2595 · log10(1 + f / 700)

Mel ekseninde eşit aralıklarla seçilen noktalar tekrar Hertz eksenine taşınır ve çoğunlukla üçgen biçimli filtreler oluşturulur. Her filtrenin çıkışı, güç spektrumundaki ilgili binlerin ağırlıklı toplamıdır:

E_m = Σ P[k] · H_m[k]

Filtre sayısı, alt ve üst frekans sınırı, FFT boyutu ve örnekleme hızı özellik vektörünü doğrudan değiştirir. Aynı adı taşıyan iki kütüphane farklı varsayılan değerler kullanıyorsa ürettikleri MFCC vektörleri eşdeğer değildir.

Logaritma ve Kepstral Dönüşüm

Filtre bankası enerjilerine logaritma uygulanır. Bu işlem hem geniş dinamik aralığı sıkıştırır hem de kaynak-filtre modelindeki çarpımsal bileşenlerin toplamsal biçimde ele alınmasını kolaylaştırır. Sıfır veya çok küçük enerji için belirli bir alt sınır kullanılmalıdır:

L_m = log(max(E_m, epsilon))

Ardından çoğunlukla ikinci tür ayrık kosinüs dönüşümü uygulanır:

c_r = Σ L_m · cos(πr(m + 0,5) / M)

Düşük sıralı katsayılar spektral zarfın daha yavaş değişen bileşenlerini temsil eder. Yüksek sıralı katsayıların atılması boyutu düşürür; ancak faz bilgisi, ince harmonik yapı ve bazı konuşmacı özellikleri kaybolur. İlk katsayının kullanılması, log enerjiyle değiştirilmesi veya tamamen çıkarılması sistem tasarımına bağlıdır.

Zaman Türevleri ve Normalizasyon

Tek bir çerçevenin MFCC vektörü zamansal hareketi açıklamaz. Klasik konuşma tanıma sistemlerinde birinci ve ikinci zaman türevleri eklenerek delta ve delta-delta özellikleri oluşturulur. Hesap penceresi ve kenar doldurma politikası eğitim ile üretimde aynı olmalıdır.

Kanal ve kayıt koşullarındaki yavaş değişimleri azaltmak için kepstral ortalama normalizasyonu veya ortalama-varyans normalizasyonu uygulanabilir. Çevrim içi sistemlerde gelecekteki çerçeveler kullanılamadığı için normalizasyon penceresi ve gecikme davranışı ayrıca tanımlanmalıdır.

Üretim Sistemlerinde Belirleyici Ayrıntılar

MFCC zinciri aşağıdaki parametrelerin tamamıyla birlikte bir özellik sözleşmesidir:

• Örnekleme hızı ve yeniden örnekleme yöntemi
• Çerçeve uzunluğu ve kayması
• Pencere fonksiyonu
• FFT boyutu ve spektrum normalizasyonu
• Mel ölçeği ve filtre bankası tanımı
• Frekans sınırları
• Logaritmanın tabanı ve enerji alt sınırı
• DCT türü ve normalizasyonu
• Katsayı sayısı ve ilk katsayı politikası
• Delta ve normalizasyon ayarları

Bir model belirli bir sözleşmeyle eğitildiyse çıkarım sırasında küçük görünen bir değişiklik bile özellik dağılımını kaydırabilir. Bu nedenle yalnız katsayı sayısını eşitlemek yeterli değildir; bütün ön işleme zinciri test vektörleriyle doğrulanmalıdır.

Güncel Modellerdeki Yeri

Yeni nesil konuşma modelleri MFCC kullanmak zorunda değildir. Log-Mel spektrogramları veya doğrudan dalga biçimi üzerinde öğrenilen temsiller yaygındır. Bu durum MFCC'nin geçersiz olduğu anlamına gelmez. MFCC; düşük boyut, yorumlanabilir işlem zinciri, sınırlı hesaplama maliyeti ve klasik akustik modellerle uyumluluk gereken sistemlerde hala değerlidir. Doğru seçim, model mimarisinden önce gecikme, kaynak, veri miktarı, kanal değişkenliği ve doğrulanabilirlik gereksinimlerine göre yapılmalıdır.

MFCC ve Cepstral Analiz İlişkisi

MFCC özellik çıkarımı kısa-zamanlı spektrum, Mel süzgeç bankası, log enerji ve ayrık kosinüs dönüşümünü birleştirir. Spektrum, log genlik, cepstrum ve homomorfik işlemenin kuramsal ilişkisi Ses İşlemede Spektrumdan Cepstruma başlığında incelenir.

MFCC hesaplamasının ayrık zamanlı tanımı

Örneklenmiş konuşma işareti x[n], uzunluğu L olan çerçevelere ve H örnek ilerleme aralığına ayrılır. t indisli çerçeve, bir pencere fonksiyonu ile ağırlıklandırıldığında xₜ[n] = x[n+tH] w[n] biçiminde yazılabilir. Pencerenin spektral sızıntı üzerindeki etkisi, çerçeve uzunluğu ile FFT uzunluğunun birbirinden ayrılması ve örnekleme hızının frekans eksenini belirlemesi, işlem hattının temel parametreleridir.

Her çerçeveye N noktalı ayrık Fourier dönüşümü uygulandığında Xₜ[k] = Σ xₜ[n] exp(-j2πkn/N) elde edilir. Spektral büyüklük veya güç, uygulanan MFCC tanımına göre filtre bankasına giriş oluşturur. Güç spektrumu seçildiğinde Pₜ[k] = |Xₜ[k]|² alınabilir; normalizasyon ölçeği bütün çerçeveler için tutarlı tutulmalıdır.

Mel bant enerjisi ve kepstral katsayılar

M adet bant geçiren ağırlık fonksiyonu Hₘ[k] ile Mel bant enerjisi Eₘ(t) = Σₖ Hₘ[k] Pₜ[k] olarak hesaplanır. Üçgensel filtrelerin merkezleri genellikle Mel frekans ölçeğinde dağıtılır. Enerjilerin logaritması Lₘ(t) = ln(max(Eₘ(t), ε)) olarak alınabilir; ε sıfıra yakın enerjiler için sayısal taban tanımlar.

Ardından ayrık kosinüs dönüşümünün yaygın bir biçimiyle cᵣ(t) = Σₘ₌₀ᴹ⁻¹ Lₘ(t) cos[πr(m+1/2)/M] katsayıları üretilir. Kepstral vektörün boyutu, kaç katsayının tutulduğuna bağlıdır. Sıfırıncı katsayı ve çerçeve enerji teriminin kullanımı, modelin giriş tanımına göre belirlenir. Mel filtresi sayısı, DCT normalizasyonu ve katsayı sıralaması farklı seçildiğinde aynı ses kaydından sayısal olarak farklı öznitelikler elde edilebilir.

Zaman boyunca değişim ve karşılaştırılabilirlik

Statik kepstral vektörler, zamansal değişimi belirtmek için fark katsayılarıyla desteklenebilir. Belirli bir K komşuluğu kullanan merkezlenmiş delta yaklaşımı Δcₜ = Σᵢ₌₁ᴷ i(cₜ₊ᵢ - cₜ₋ᵢ) / (2Σᵢ₌₁ᴷ i²) biçiminde tanımlanır. İkinci fark katsayıları aynı işlemin bir sonraki düzeyini ifade eder. Sınır çerçevelerinin nasıl genişletildiği veya doldurulduğu öznitelik dizisini etkiler.

Bir karşılaştırma deneyinde örnekleme hızı, pre-emphasis seçimi, pencere türü, çerçeve ilerlemesi, FFT boyutu, Mel filtre bankasının normalizasyonu, logaritma tabanı ve kepstral normalizasyon aynı tutulmalıdır. Bu ayrıntılar, MFCC vektörünün yalnız boyutunu değil, spektral içeriği hangi ölçekte temsil ettiğini de belirler. Log-Mel Spektrogram ile MFCC arasındaki temel işlem farkı, log-Mel bant enerjilerinden kepstral alana geçiştir.

Kaynakça

• Lawrence R. Rabiner; Ronald W. Schafer. (1978). Digital Processing of Speech Signals. Prentice-Hall.

• Steven Davis; Paul Mermelstein. (1980). Comparison of Parametric Representations for Monosyllabic Word Recognition in Continuously Spoken Sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366. doi:10.1109/TASSP.1980.1163420