MFCC ile Konuşma Özellik Çıkarımı

Bir konuşma çerçevesinin Mel-frekans kepstrum katsayılarına (Mel-frequency cepstral coefficients, MFCC) dönüştürülmesi, zaman alanındaki örnekleri yalnızca daha küçük bir vektöre sıkıştırma işlemi değildir. Dönüşüm, kısa süreli spektrumun algısal olarak yeniden örneklenmesi, dinamik aralığının logaritmayla sıkıştırılması ve spektral zarfın düşük boyutlu bir kosinüs tabanında ifade edilmesidir. Ortaya çıkan vektör, dalga biçimini yeniden üretmek için değil, fonetik ayrımları taşıyan görece yavaş spektral yapıyı istatistiksel modeller açısından kullanılabilir hale getirmek için tasarlanmıştır.

MFCC'nin konuşma tanımada uzun süre baskın kalmasının temel nedeni, tek başına Mel ölçeği veya kepstrum değildir. Yöntem, konuşma üretim modeline ilişkin yaklaşık fiziksel varsayımları, işitsel çözünürlük hakkındaki psikoakustik gözlemleri, düşük boyutlu istatistiksel sınıflandırma gereksinimini ve sınırlı hesaplama kaynaklarını aynı işlem hattında uzlaştırmıştır. Bu nedenle MFCC, belirli bir matematiksel dönüşümden çok, kontrollü bilgi kaybı uygulayan bir özellik mühendisliği mimarisidir.

Üç Araştırma Çizgisinin Birleşmesi

MFCC'nin tarihçesi tek bir araştırmanın veya ani bir buluşun tarihçesi değildir. Yöntem, birbirinden bağımsız gelişen en az üç düşünsel çizginin birleşmesiyle ortaya çıkmıştır: insanın frekans algısının doğrusal olmaması, log-spektrum üzerinde kepstral çözümleme yapılabilmesi ve konuşmanın kısa süreli spektral zarfının fonetik bilgi taşıması.

Mel ölçeğinin deneysel temeli, Stevens, Volkmann ve Newman'ın 1937'de yayımladığı perde algısı çalışmalarına dayanır. Bu çalışmalar, fiziksel frekans ile algılanan perde büyüklüğü arasında doğrusal bir ilişki bulunmadığını göstermeyi amaçlıyordu. Daha sonra "Mel" adıyla yerleşen ölçek, işitmenin düşük frekanslarda daha ayrıntılı, yüksek frekanslarda ise göreli olarak daha kaba bir çözünürlüğe sahip olduğu düşüncesinin pratik bir modeline dönüştü. Ancak Mel ölçeği, kokleanın eksiksiz fiziksel modeli veya işitsel sistemin evrensel aktarım fonksiyonu değildir, deneysel verilere dayanan yaklaşık bir psikoakustik eşlemedir.

İkinci çizgi, Bogert, Healy ve Tukey'nin 1963 tarihli çalışmasında adlandırılan kepstrum çözümlemesidir. Kepstrum, spektrumun logaritması üzerinde ikinci bir dönüşüm uygulanarak spektrumdaki periyodik yapıların farklı bir eksende görünür hale getirilmesi fikrine dayanır. "Cepstrum", "spectrum" sözcüğündeki harflerin bilinçli biçimde değiştirilmesiyle türetilmiş, buna paralel olarak frekans yerine "quefrency" gibi terminolojik oyunlar kullanılmıştır. İlk kullanım alanı konuşma tanıma değil, zaman serilerindeki yankı ve gecikme yapılarının incelenmesiydi.

Üçüncü çizgi, konuşmanın kısa zaman aralıklarında yaklaşık durağan kabul edilmesi ve ses yolunun spektral zarf üzerindeki etkisinin fonetik ayrımlar açısından önemli olmasıdır. Ses tellerinin oluşturduğu uyarım ile ses yolunun filtreleme etkisi zaman alanında katlanım biçiminde birleşir. Frekans alanında bu ilişki çarpıma, log-spektrumda ise toplama dönüşür:

x[n] = e[n] * h[n]

|X(ω)| = |E(ω)| |H(ω)|

log |X(ω)| = log |E(ω)| + log |H(ω)|

Burada e[n] uyarımı, h[n] ses yolunun dürtü yanıtını ve x[n] gözlenen konuşma sinyalini gösterir. Kepstral yaklaşımın ilgi çekici yönü, farklı değişim hızlarına sahip bu iki bileşeni tam anlamıyla ayırmasa da, log-spektral yapıyı daha uygun bir koordinat sistemine taşımasıdır. Düşük kepstral sıralar genellikle yumuşak spektral zarfla, yüksek sıralar ise daha hızlı spektral dalgalanmalarla ilişkilidir.

Bu çizgilerin konuşma tanıma amacıyla belirgin biçimde birleşmesi, Steven Davis ve Paul Mermelstein'ın 1980 tarihli karşılaştırmalı çalışmasıyla gerçekleşti. Çalışmada MFCC, doğrusal frekans kepstrum katsayıları, doğrusal öngörü katsayıları, yansıma katsayıları ve doğrusal öngörüden türetilen kepstral katsayılarla aynı tanıma çerçevesinde karşılaştırıldı. Araştırmacılar 20 üçgensel bant geçiren filtre kullandı ve logaritmik filtre çıkışlarına kosinüs dönüşümü uyguladı. Sonuçlar, deneyin sınırlı konuşmacı ve sözcük kümesi koşulları altında MFCC'nin doğrusal frekans kepstrumuna göre üstünlük sağladığını, ayrıca az sayıda katsayıyla bilginin büyük bölümünü temsil edebildiğini gösterdi. Yazarlar da sonuçların veri kümesi, konuşmacı sayısı, sözcük yapısı ve uzaklık ölçütüyle sınırlı olduğunu açıkça belirtti.

Bu nedenle Davis ve Mermelstein'ın katkısını MFCC'nin bütün bileşenlerini sıfırdan icat etmek biçiminde okumak doğru değildir. Tarihsel önem, mevcut psikoakustik ölçekleme ve kepstral temsil fikirlerini, konuşma tanıma için ölçülebilir ve karşılaştırılabilir bir özellik çıkarım düzeninde birleştirmeleridir.

MFCC İşlem Hattı

Bir MFCC vektörü genellikle örtüşen kısa süreli çerçeveler üzerinden hesaplanır. Ön-vurgu, pencere türü, çerçeve uzunluğu, güç veya genlik spektrumu kullanımı, filtre sayısı, Mel dönüşüm formülü, kosinüs dönüşümünün normalizasyonu ve enerji katsayısının konumu uygulamaya göre değişebilir. Bu nedenle "MFCC" tek ve değişmez bir standart vektörü değil, aynı tasarım ilkesini izleyen bir uygulama ailesini ifade eder.

t çerçevesinin ayrık Fourier dönüşümünden elde edilen güç spektrumu P_t[k] olsun. Burada m numaralı Mel filtresinin çıkışı şu biçimde yazılabilir:

E_t[m] = Σ_k H_m[k] P_t[k]

H_m[k], çoğunlukla komşu filtrelerle örtüşen üçgensel bir ağırlık fonksiyonudur. Filtre merkezleri doğrusal Hertz ekseninde eşit aralıklı değildir, Mel ekseninde yaklaşık eşit aralıklarla yerleştirilir. Sık kullanılan eşlemelerden biri şöyledir:

mel(f) = 2595 log10(1 + f / 700)

Bu ifade tek geçerli Mel tanımı değildir. Farklı kaynaklarda doğal logaritmalı eşdeğer ölçekler, farklı sabitler veya parçalı doğrusal-logaritmik yaklaşımlar bulunabilir. Davis ve Mermelstein'ın özgün düzeni de düşük frekanslarda doğrusal, daha yüksek frekanslarda logaritmik aralıklandırma düşüncesini kullanmıştır. Uygulamalar arasındaki küçük görünen bu farklar, özellikle düşük frekans filtrelerinin ayrık Fourier çizgilerine yerleştirilmesinde sayısal farklılık üretebilir.

Filtre çıkışlarına logaritma uygulanır:

L_t[m] = log(E_t[m] + ε)

ε, sıfır enerjide tanımsız logaritmayı önleyen pozitif bir tabandır. Logaritmanın iki işlevi vardır. İlk olarak spektral enerjinin geniş dinamik aralığını sıkıştırır. İkinci olarak kaynak ve filtre etkilerinin frekans alanındaki çarpımsal birleşimini yaklaşık toplamsal bir yapıya dönüştürür. Bu ikinci özellik, kepstral temsilin konuşma üretim modeliyle kurduğu asıl bağlantıdır.

Son aşamada logaritmik filtre bankası vektörüne genellikle ikinci tür ayrık kosinüs dönüşümü uygulanır:

c_t[r] = Σ_(m=0)^(M-1) L_t[m] cos[πr(m + 1/2) / M]

Burada M filtre sayısını, r kepstral katsayı sırasını ve c_t[r] MFCC bileşenini gösterir. Düşük sıralı katsayılar Mel-spektrumunun genel eğimini ve geniş ölçekli zarfını taşırken, yüksek sıralı katsayılar filtreler arasındaki hızlı değişimleri temsil eder. Bu nedenle çoğu işlem hattı yalnızca ilk katsayıların bir bölümünü tutar. Bu kesme işlemi yalnızca boyut azaltma değildir, spektral ayrıntıların bilinçli olarak alçak geçiren biçimde süzülmesidir.

Ayrık kosinüs dönüşümü, logaritmik filtre enerjileri arasındaki korelasyonu azaltma eğilimindedir. Üçgensel filtrelerin örtüşmesi nedeniyle komşu Mel bantları kuvvetli biçimde ilişkilidir. Dönüşüm, bu ilişkili vektörü yaklaşık olarak daha ayrışmış katsayılara taşır. Özellikle köşegen kovaryans varsayımı kullanan Gauss karışım modelleri açısından bu özellik tarihsel olarak büyük önem taşımıştır.

Doğru Bilgiyi Kaybetmek

MFCC'nin en dikkat çekici özelliği, yüksek doğruluklu bir ses temsili olmamasıdır. Faz bilgisini atar, harmonik yapıyı yumuşatır, ince spektral ayrıntıları bastırır ve çoğu uygulamada mutlak enerji bilgisini ayrıca normalleştirir. Bu kayıplar ses kodlama veya yeniden sentez açısından ciddi olabilir, ancak konuşma tanıma açısından birçok durumda yararlıdır.

Konuşma tanıyıcının amacı mikrofon sinyalini aynen yeniden oluşturmak değil, aynı fonetik birimin farklı perde, faz, genlik ve kayıt koşullarındaki örneklerini ortak bir bölgede toplayabilmektir. MFCC, değişkenliğin tamamını gidermese de temsil uzayını bu hedefe doğru yönlendirir. Böylece bir özellik vektörünün değeri taşıdığı toplam bilgiyle değil, görev açısından ayırıcı bilgi ile ilgisiz değişkenlik arasındaki oranla belirlenir.

Mel filtre bankası düşük frekanslara daha fazla çözünürlük ayırır. Konuşmanın ilk formantları ve birçok önemli spektral geçişi bu bölgede bulunduğundan, sabit sayıda özelliğin dağıtımı doğrusal frekans örneklemesine göre daha işlevsel hale gelir. Yüksek frekanslarda ise daha geniş bantların birleştirilmesi, dar ve kararsız spektral değişimlerin etkisini azaltır. Davis ve Mermelstein da MFCC'nin doğrusal frekans kepstrumuna göre üstünlüğünü, yüksek frekanslardaki önemsiz spektral değişimleri daha iyi bastırmasıyla ilişkilendirmiştir.

Ancak "Mel ölçeği insan kulağını taklit eder" ifadesi teknik olarak aşırı genellemedir. MFCC, eşit gürlük eğrilerini, işitsel maskelemeyi, zamansal maskelemeyi, koklear doğrusal olmayanlığı ve işitsel sinir kodlamasını eksiksiz modellemez. Psikoakustik esinli bir frekans çözünürlüğü kullanır, biyofiziksel işitme modeli değildir.

Benzer biçimde, her MFCC katsayısına sabit bir fonetik anlam yüklenemez. İlk katsayı genel spektral seviye veya eğimle, sonraki katsayılar daha ayrıntılı zarf biçimleriyle ilişkili olabilir, ancak bunlar doğrudan "birinci formant", "ikinci formant" veya belirli bir sesbirim olarak yorumlanamaz. DCT tabanı bütün filtre bankasına yayıldığından her katsayı küresel bir spektral desenin ağırlığını ifade eder.

MFCC'nin Mühendislik Avantajları

MFCC'nin başarısı yalnızca algısal uygunluğundan kaynaklanmaz. Yöntem, klasik konuşma tanıma mimarilerinin hesaplama ve istatistik varsayımlarıyla uyumludur.

İlk olarak işlem maliyeti düşüktür ve önceden kestirilebilir. Her çerçevede hızlı Fourier dönüşümü, seyrek bir filtre bankası çarpımı, logaritma ve küçük boyutlu bir kosinüs dönüşümü yeterlidir. Yaklaşık maliyet, Fourier dönüşümü için O(N log N), filtreleme için kullanılan gerçek ağırlık sayısıyla orantılı ek maliyet ve küçük bir matris-vektör çarpımıdır. Filtre ve DCT katsayıları önceden hesaplanabilir, işlem hattı sabit bellekle, akış tabanlı ve deterministik biçimde yürütülebilir.

İkinci olarak çıktı boyutu küçüktür. Yüzlerce Fourier genlik değeri yerine çoğunlukla birkaç düzine katsayı kullanılır. Bu durum, dinamik zaman bükme, gizli Markov modeli ve Gauss karışım modeli dönemlerinde hem depolama hem de uzaklık hesabı maliyetini önemli ölçüde azaltmıştır. Davis ve Mermelstein'ın özgün deneyinde de MFCC'nin az sayıda katsayıyla kompakt bir temsil oluşturması temel avantajlardan biri olarak raporlanmıştır.

Üçüncü olarak kepstral uzay basit uzaklık ölçülerine elverişlidir. DCT'nin yaklaşık dekorrelasyon etkisi, Öklid uzaklığı ve köşegen kovaryanslı olasılık modelleri gibi hesaplama açısından ucuz yöntemlerin kullanılmasını kolaylaştırmıştır. Özgün karşılaştırmada kepstral temsiller için Öklid uzaklığı kullanılmış ve MFCC bu basit ölçüt altında güçlü sonuç vermiştir.

Dördüncü olarak işlem hattı normalizasyona açıktır. Kepstral ortalama çıkarma, varyans normalizasyonu ve birinci veya ikinci zaman türevleri MFCC'ye kolayca eklenebilir. Ortalama çıkarma, sabit kanal etkilerinin bir bölümünü azaltabilir, türev katsayıları ise durağan bir çerçeve vektörüne kısa süreli hareket bilgisi kazandırır. 2000'li yılların başındaki tipik ön uçlarda MFCC'lerin ortalama ve varyans normalizasyonu, zaman türevleri ve doğrusal ayırıcı dönüşümlerle birlikte kullanıldığı görülmektedir.

Beşinci olarak yöntem modelden bağımsızdır. Aynı MFCC çıkarıcı, şablon eşleme, HMM-GMM, destek vektör makineleri veya sinir ağları önünde kullanılabilir. Bu ayrım, özellik çıkarıcının akustik modelden bağımsız doğrulanmasını, farklı platformlarda aynı girdinin yeniden üretilebilmesini ve üretim sistemlerinde hata sınırlarının daha kolay izlenmesini sağlar.

Bu avantajların bedeli, sabit bir bilgi darboğazıdır. MFCC çıkarıcı tarafından atılan faz, ince harmonik yapı veya yüksek çözünürlüklü spektral ayrıntı sonraki model tarafından geri kazanılamaz. Gürültü ve kanal bozulması da logaritma öncesinde filtre enerjilerine karıştığından, MFCC kendi başına gürültüye değişmez değildir. Normalizasyon yöntemleri bazı uyuşmazlıkları azaltır, fakat düşük sinyal-gürültü oranında veya güçlü yankıda sağlamlık garantisi vermez.

Derin Öğrenme Döneminde MFCC

Uçtan uca ve özdenetimli konuşma modelleri, elle tasarlanmış düşük boyutlu özelliklerin zorunluluğunu ortadan kaldırmıştır. wav2vec 2.0 ve HuBERT gibi yaklaşımlar ham dalga biçimini evrişimli ön katmanlara vererek özellik temsilini veriden öğrenir. Bu modeller, MFCC'nin önceden belirlediği bilgi darboğazına bağlı kalmaz.

Buna karşılık modern sistemlerin tamamı ham dalga biçimi kullanmaz. Whisper, MFCC yerine log-Mel spektrogramı girdi olarak alır. Bu ayrım önemlidir: log-Mel spektrogramı, Mel filtre bankası ve logaritmik sıkıştırmayı korur, fakat DCT ile kepstral sıkıştırma uygulamaz. Derin ağ böylece Mel bantları arasındaki yerel yapıyı doğrudan görebilir ve hangi spektral bileşimlerin yararlı olduğunu kendisi öğrenebilir.

Bu gelişmeler MFCC'nin tarihsel önemini azaltmaz, yalnızca hangi koşullarda rasyonel tercih olduğunu değiştirir. Büyük veri, yüksek hesaplama bütçesi ve uçtan uca optimizasyon bulunan sistemlerde öğrenilmiş dalga biçimi özellikleri veya log-Mel temsilleri daha uygun olabilir. Sabit gecikme, sınırlı bellek, düşük güç tüketimi, açıklanabilir ön işleme, küçük eğitim kümesi veya bit düzeyinde yeniden üretilebilirlik gereken sistemlerde ise MFCC hala güçlü bir mühendislik seçeneğidir.

MFCC'nin kalıcılığı, insan işitmesini kusursuz modellemesinden veya her konuşma problemi için en yüksek doğruluğu sağlamasından kaynaklanmaz. Yöntem, fiziksel sinyali, algısal frekans çözünürlüğünü, istatistiksel modellemeyi ve hesaplama maliyetini dengeli bir bilgi darboğazında birleştirir. Daha genel sistem tasarımı açısından MFCC, özellik mühendisliğinin temel ilkesini gösterir: en iyi temsil, girdideki bütün bilgiyi taşıyan değil, hedef görev için gerekli yapıyı en düşük değişkenlik ve maliyetle koruyan temsildir.