Log-Mel Spectrogram

Türkçe karşılığı: Log-Mel spektrogramAlan: Konuşma İşleme

Kısa-zamanlı spektrum enerjisinin Mel ölçekli filter bank üzerinden projelendirilip logaritmik ölçekte ifade edildiği zaman-frekans gösterimi.

Log-Mel spektrogram, kısa süreli Fourier analiziyle bulunan işaret gücünü Mel ölçeğindeki frekans bantlarında özetleyen ve bant enerjilerine logaritmik dönüşüm uygulayan zaman–frekans temsilidir.

Matematiksel işlem hattı

Örneklenmiş işaret x[n], bir pencere w[n] ve çerçeve ilerlemesi H ile kısa çerçevelere ayrılır. t çerçevesinin Fourier dönüşümü Xₜ[k], güç spektrumu ise |Xₜ[k]|² olarak alınabilir. m numaralı Mel filtresinin ağırlıkları Hₘ[k] ile bant enerjisi Eₘ(t) = Σₖ Hₘ[k]|Xₜ[k]|² biçiminde hesaplanır. Son temsil Lₘ(t) = log(max(Eₘ(t), ε)) biçimindedir; ε, düşük enerjili bantların sayısal sınırını belirler.

Pencere ve ilerleme uzunlukları zaman çözünürlüğünü, FFT boyutu spektral örnekleme ızgarasını, filtre sayısı ise çıktı tensörünün frekans eksenini etkiler. Bu nicelikler ve güç/mutlak değer seçimi, model girişinin tanımlı parametreleridir.

MFCC ile ilişkisi

MFCC, log-Mel enerjilerine ayrık kosinüs dönüşümü uygulayarak kepstral katsayılar oluşturur. Log-Mel temsilinde filtre bantları korunur; MFCC'de bunlar başka bir katsayı tabanında ifade edilir. İlgili dönüşümler Mel Ölçeği, Filtre Bankası ve Kısa Zamanlı Fourier Dönüşümü kavramlarıyla birlikte incelenir.

İlgili teknik yayınlar

Başlık veya özetinde bu kavrama doğrudan karşılık gelen yayınlar.

Konuşma Tanıma Sistemlerinde Whisper Mimarisi

Whisper, 16 kHz sesi log-Mel spektrogramına dönüştürüp kodlayıcı-kod çözücü Transformer ile otoregresif token üretir; dil, görev ve zaman damgası bilgileri özel tokenlarla aynı dizide taşınır.