Ses İşleme ve Adli Ses Mühendisliği

Ses işleme, mekanik dalga hareketinin algılanmasından sayısal temsiline, sinyal dönüşümlerinden konuşma ve akustik olayların çözümlenmesine uzanan bir mühendislik alanıdır. Adli ses mühendisliği bu yöntemlerin ölçüm geçerliği, kayıt bütünlüğü, delil kökeni, hata oranları ve bilimsel yorum sınırları içinde uygulanmasını gerektirir. Bir kaydın daha anlaşılır duyulması ile kaydın özgünlüğünün kanıtlanması farklı hedeflerdir. Konuşma tanıma, konuşmacı karşılaştırması ve ses kaynağı ayırma da aynı işlemin farklı adları değildir.

Ses sinyali zamana bağlı fiziksel bir ölçümdür. Mikrofon, analog dönüşüm, örnekleme, kodlama, aktarım ve sayısal işlem aşamalarındaki her değişiklik sonraki kestirimleri etkiler. Bu nedenle algoritmaların yalnız ortalama başarımı değil; varsayımları, kayıt koşullarına dayanıklılığı, hata yayılımı, gecikmesi ve yeniden üretilebilirliği incelenmelidir.

Ünite 1: Sesin Fiziksel ve Akustik Temelleri

Ses, maddesel ortam içinde yayılan mekanik basınç değişimidir. Dijital ses işleme, mikrofonun bu fiziksel değişimi elektriksel işarete dönüştürmesi ve sayısal örnekleme ile devam eder.

Frekans, genlik ve faz

Frekans tekrar hızını, genlik değişimin büyüklüğünü, faz ise periyodik işaretlerin göreli konumunu ifade eder. Gerçek sesler çok sayıda frekans bileşeni içerir. Fourier dönüşümü bu bileşenlerin tayfsal dağılımını incelemeye olanak verir.

İşitme duyarlılığı frekansa göre değişir. Algılanan ses yüksekliği genliğin doğrusal karşılığı değildir; perde de tek başına konuşmacı veya kaynak kimliğini belirlemez.

Dalga Boyu ve Yayılma

Havadaki ses, ortam parçacıklarının kaynaktan hedefe taşınması değil, basınç değişiminin ortam boyunca ilerlemesidir. Parçacıklar denge konumları çevresinde küçük hareketler yaparken sıkışma ve seyrelme bölgeleri yayılır.

Frekans f, dalga boyu λ ve yayılma hızı c arasında:

c = f · λ

ilişkisi vardır. Havadaki ses hızı sıcaklığa bağlıdır ve oda sıcaklığında yaklaşık 343–344 m/s düzeyindedir. Aynı frekansta yayılma hızı değiştiğinde dalga boyu da değişir.

Düşük frekans uzun, yüksek frekans kısa dalga boyuna karşılık gelir. Bu ilişki mikrofon yerleşimi, oda modu, beamforming ve yankı davranışı gibi uygulamalarda fiziksel önem taşır.

Yayılım ve oda akustiği

Ses boşlukta yayılmaz. Yansıma, soğurma, kırınım ve saçılma mikrofon sinyalini biçimlendirir. Kapalı ortamda doğrudan ses erken yansımalar ve reverberation ile birleşir. Mikrofon kaynaktan uzaklaştıkça doğrudan-yankılı enerji oranı düşebilir.

Konuşma üretimi

İnsan konuşması kaynak-filtre modeliyle yaklaşık olarak açıklanabilir. Ses tellerinin oluşturduğu uyarım, ses yolu rezonansları tarafından biçimlendirilir. Formantlar özellikle ünlülerin ayrımında önemlidir.

Örnekleme teoremi, bant sınırlı işaretin yeniden oluşturulması için örnekleme frekansının gerekli alt sınırını açıklar. Gerçek sistemlerde aliasing'i azaltmak için sayısallaştırma öncesinde analog filtreler kullanılır.

Spektrogram, sesin resmi değil; zaman içinde değişen tayfsal enerjinin görsel temsilidir.

Solunum, Larenks ve Ses Yolu

Konuşma üretimi kaba olarak üç fiziksel bölümde düşünülebilir. Akciğerler hava akışını sağlayan enerji kaynağıdır. Larenks, ses tellerinin titreşimi veya açık hava akımı üzerinden uyarım üretir. Ağız, burun ve farenks boşluklarından oluşan ses yolu ise bu uyarımın tayfsal biçimini değiştirir.

Bütün konuşma sesleri aynı kaynak tipine sahip değildir. Ünlülerde periyodik ses teli titreşimi baskın olabilir; sürtünmeli ünsüzlerde türbülans kaynaklı gürültü, patlamalı ünsüzlerde ise kısa süreli geçişler önem kazanır. Gerçek konuşma bu kaynakların zaman içinde art arda ve bazen birlikte kullanılmasından oluşur.

Fonem, bir dilde anlam ayırt etmeye yarayan en küçük sesbirimsel sınıflardan biridir. Akustik gerçekleştirim konuşmacıya, bağlama ve komşu seslere göre değiştiği için aynı fonem her kayıtta aynı dalga biçimini üretmez. Bu değişkenlik konuşma ve konuşmacı tanımanın temel zorluklarından biridir.

İşitme ve Algı

Dış kulak ses enerjisini toplar ve kulak zarına iletir. Orta kulaktaki kemikçikler mekanik titreşimi iç kulağa aktarır. Koklea içindeki mekanik ve sinirsel dönüşüm, frekans içeriğinin işitsel sisteme kodlanmasında temel rol oynar.

Fiziksel ses basıncı ile algılanan yükseklik aynı büyüklük değildir. Benzer biçimde frekans ile algılanan perde arasında güçlü ilişki bulunsa da işitme sistemi doğrusal bir ölçüm cihazı gibi davranmaz. Maskeleme, frekansa bağlı duyarlılık ve zamansal bağlam algıyı etkiler.

Bu nedenle ses işleme algoritmalarının yalnız sayısal sinyal farkını azaltması yeterli olmayabilir. Codec, gürültü azaltma veya üretim sistemleri değerlendirilirken algısal değişim ile hedef görevin başarımı ayrı ölçülmelidir.

Mekanik dalga ve ses basıncı

Ses, maddesel ortamın denge durumuna göre basınç ve parçacık hızındaki zamansal değişimlerle yayılır. Küçük genlikli düzlemsel dalga için p(x,t) = A cos(2πft − kx + φ) gösterimi kullanılabilir. Burada f frekans, k = 2π/λ dalga sayısı, λ dalga boyudur. Yayılma hızıyla ilişkisi c = fλ biçimindedir. Ses hızı ortamın elastik ve yoğunluk özelliklerine bağlıdır; hava için kullanılan yaklaşık değer sıcaklık ve bileşime göre değişir.

Ses basıncı düzeyi L_p = 20 log₁₀(p_rms/p₀) ile tanımlanır. Desibel, tek başına mutlak genlik birimi değil belirtilen referansa göre logaritmik oran ölçüsüdür. Akustik basınç düzeyi ile sayısal örneklerin tam ölçeğe göre düzeyi farklı referanslar taşır. Bu birimlerin karıştırılması, mikrofon kalibrasyonu ve delil karşılaştırmalarında yanlış yorum üretir.

Yayılım, oda ve algı

Serbest alanda uzaklığa bağlı geometrik zayıflama, yansıma, soğurma, kırınım ve saçılma gerçek kaydın spektral ve zamansal yapısını değiştirir. Kapalı alanda erken yansımalar doğrudan sinyalle birleşir, geç yansımalar yankılanma kuyruğu oluşturur. Kaynak–mikrofon mesafesi, yönlülük ve oda tepkisi sabit değilse iki kaydın farklı duyulması konuşmacı değişikliği anlamına gelmez.

İnsan işitmesi frekansa ve düzeye bağlı duyarlılık gösterir. Algılanan gürlük, fiziksel basınç ile birebir doğrusal değildir; perde algısı ve konuşma anlaşılabilirliği ayrı boyutlardır. Adli dinleme, öznel duyumun yanlılıklarından kaçınmak için ölçülebilir akustik göstergeler ve tekrarlanabilir deneylerle desteklenir.

Oda Yanıtı ve Kaydın Fiziksel Referansı

Mikrofonla ölçülen işaret yalnız ses kaynağına ait değildir; doğrudan yol, yansımalar, ortam gürültüsü ve mikrofonun frekans yanıtı birlikte gözlenir. Doğrusal ve yaklaşık zamanla değişmeyen bir ortam için y(t) = h(t) * x(t) + n(t) modeli kullanılabilir. Burada h(t) oda ve kayıt zincirinin dürtü yanıtıdır. Bu model, kaydın kaynak işaretle neden aynı olmadığını açıklar; yüksek yankılanmalı ortamda gecikmeli kopyalar konuşmanın zamansal sınırlarını bulanıklaştırır.

Ölçümde mikrofon uzaklığı, yönelimi, akustik kazanç, otomatik seviye kontrolü ve kayıt zincirindeki filtreler belirtilmelidir. Tek bir kayıttan oda yanıtı ile özgün işareti ayrı ayrı kesin belirlemek çoğu zaman mümkün değildir. Adli ses çözümlemesinde spektrumdaki bir farkın konuşmacıdan mı, ortamdan mı, yoksa kayıt zincirinden mi geldiği alternatif açıklamalarla birlikte değerlendirilir. Fiziksel referansı bilinmeyen desibel değerleri, yalnız göreli seviye karşılaştırması sağlayabilir.

Ünite 2: Sayısal Sesin Temsili ve Kaydedilmesi

Ses kaydı, mikrofon, analog ön uç ve analog-sayısal dönüştürücü ile başlar. Ortaya çıkan örnek dizisi dosyada saklanabilir, sıkıştırılabilir veya ağ üzerinden gerçek zamanlı taşınabilir.

Analogdan Sayısala Dönüşüm

Mikrofon, hava basıncındaki değişimi elektriksel işarete dönüştürür. Analog ön uç kazanç ve gerekli filtrelemeyi uygular; analog-sayısal dönüştürücü ise işareti belirli zaman aralıklarında örnekleyip sonlu sayısal seviyelere nicemler.

Bu zincir iki ayrı çözünürlük taşır:

• zaman çözünürlüğü: örnekleme frekansıyla,
• genlik çözünürlüğü: bit derinliğiyle

belirlenir.

Örnekleme frekansını yükseltmek nicemleme çözünürlüğünü, bit derinliğini artırmak ise zaman çözünürlüğünü doğrudan artırmaz. İki parametre farklı hata mekanizmalarını etkiler.

Sayısallaştırma öncesindeki analog bant sınırlama önemlidir. Nyquist frekansının üzerindeki bileşenler yeterince bastırılmazsa örnekleme sonrasında aliasing oluşabilir; bu bozulma daha sonra yalnız sayısal filtreyle bütünüyle geri alınamaz.

Örnekleme ve kanal yapısı

Örnekleme frekansı saniyede kaç örnek alındığını belirler. Bit derinliği nicemleme çözünürlüğünü ve kullanılabilir dinamik aralığı etkiler. Kanal sayısı ise mekânsal veya kaynak ayrımı açısından ek bilgi taşıyabilir.

Çok kanallı kayıtların doğrudan mono'ya indirgenmesi bazı uygulamalarda yararlı bilgiyi ortadan kaldırabilir.

PCM ve codec'ler

WAV çoğunlukla PCM taşır; ancak yalnız dosya uzantısı gerçek kodlamayı kesin olarak belirtmez. MP3, AAC ve Opus farklı kayıplı kodlama yöntemleri ve farklı bozulma karakterleri üretir.

Makine öğrenmesi uygulamalarında eğitim ve üretim verisinin codec, örnekleme frekansı ve kanal özelliklerinin uyuşması model kararlılığını etkiler.

Gerçek zamanlı aktarım

Paket süresi, kayıp telafisi ve jitter buffer davranışı süreklilik ile gecikme arasındaki dengeyi belirler. Büyük tampon ağ dalgalanmalarını gizlerken etkileşim gecikmesini artırır.

Uzun kayıtlarda saat kayması da önemlidir. İki cihaz nominal olarak aynı frekansta örnekleme yapsa bile gerçek saatleri küçük farklarla ilerleyebilir.

Ses hattında codec, örnekleme frekansı, kanal düzeni ve zaman damgaları veri sözleşmesinin parçası olarak ele alınır.

Mikrofon, örnekleme ve nicemleme

Mikrofon fiziksel basınç değişimini elektriksel işarete çevirir; analog ön uç kazanç, frekans yanıtı ve gürültü ekler. Analogdan sayısala dönüşüm öncesinde uygun alçak geçiren süzme yapılmadığında örnekleme üstü frekanslar duyulabilir bantta aliasing oluşturabilir. İdeal bant sınırlı işaretin örnekleme teoremindeki koşulları sağlanmalıdır; gerçek filtrelerin geçiş bantları ve kaydedici saat kararsızlığı ayrıca değerlendirilir.

Örnek dizisi x[n] = xₐ(n/fₛ) biçiminde tanımlanabilir. Örnekleme frekansı fₛ zaman çözünürlüğünü, bit derinliği ideal nicemleme düzeyini etkiler. Kayıt sisteminde 16 veya 24 bit gösterimin bulunması fiziksel gürültü tabanının aynı doğruluğa sahip olduğunu kanıtlamaz. Dither, nicemleme yanlılığını azaltmak için kullanılabilir; dinamik aralık hesabında dönüştürücünün gerçek gürültüsü ve doygunluk sınırları da yer alır.

Kanallar, zaman damgası ve dosya yapısı

Stereo kanallar iki bağımsız fiziksel ölçüm yolunu temsil edebilir; ancak kanalların belirli konuşmacılara ait olduğu her kayıtta varsayılamaz. Mikrofon yerleşimi, çapraz sızıntı, mikser, otomatik kazanç ve kodlayıcı işlemleri kanal ayrımını değiştirebilir. Çok kanallı kayıtlarda cihazlar arasındaki saat kayması senkronizasyonu bozar; örnek sayısına dayalı zaman ile duvar saati zamanı ayrılmalıdır.

Kapsayıcı biçimi, örnek kodlaması ve sıkıştırma yöntemi ayrı tanımlanır. Yeniden örnekleme, kanal karıştırma ve format dönüşümü kayıt üzerinde işlem izleri bırakabilir. Kaynak dosyanın kriptografik özeti, çözülmüş örneklerin özeti ve analiz amaçlı kopyanın özeti aynı anlama gelmez; zincirde hangi aşamanın doğrulandığı açıklanır.

Kayıttan Sayısal İşarete Güvenli Geçiş

Ses işleme hattı kapsayıcı dosyanın çözülmesiyle başlar; codec, kanal sayısı, örnekleme frekansı, örnek gösterimi ve gerçek örnek adedi birbirinden ayrı doğrulanır. Dosya başlığındaki süre tek başına doğru kabul edilmez; çözülmüş örnek sayısından T = N/fₛ süresi hesaplanır. Örneklerin normalleştirilmesi işaret ölçeğini değiştirir ancak kırpılmış tepe değerlerini geri getirmez. DC ofset kaldırma ve yeniden örnekleme gibi ön işlemler, özgün kaydı değiştirmeden türetilmiş kopyada uygulanır.

Stereo kaydı tek kanala indirgemeden önce kanalların bağımsız konuşmacı, mekânsal mikrofon veya miks çıkışı olup olmadığı saptanır. Yalnız aritmetik ortalama almak fazı ters iki işareti zayıflatabilir ve kanal aidiyetini yok eder. Kayıt zamanı, kanal sayacı ve çıktı örnek ofseti arasında açık bir eşleme tutulur; örneğin orijinal f₀ frekansında n₀ örneğine karşılık gelen zaman n₀/f₀ olup hedef f₁ örneklemede yaklaşık round(n₀ f₁/f₀) konumuna denk gelir. Yuvarlamadan gelen sınır hatası tek biçimli bir politika ile yönetilir.

Ünite 3: Sesin Zaman ve Frekans Alanında Analizi

Cepstrum türleri

Cepstrum tek bir matematiksel gösterimi ifade etmez. Kullanılan spektral bilgiye ve dönüşüm biçimine göre farklı cepstrum türleri bulunur.

Gerçek cepstrum, büyüklük spektrumunun logaritmasını kullanır:

c_r[n] = IDFT{log |X[k]|}

Faz bilgisi hesaba katılmadığı için gerçek cepstrumdan özgün sinyal her durumda geri üretilemez. Bu gösterim spektral zarf, yankı ve periyodiklik analizi için uygundur.

Karmaşık cepstrum, logaritmik spektrumun büyüklük ve faz bilgisini birlikte ele alır:

c_c[n] = IDFT{log X[k]}

Karmaşık logaritmanın hesaplanabilmesi için fazın açılması gerekir. Sarılı faz doğrudan kullanılırsa süreksizlikler oluşur. Faz açma işlemi, ardışık faz değerleri arasındaki "2π" sıçramalarını düzeltmeyi amaçlar. Bu işlem hatalı yapıldığında karmaşık cepstrum da hatalı olur.

Karmaşık cepstrum, uygun koşullar altında homomorfik sistem çözümlemesi ve minimum fazlı bileşenlerin incelenmesi için kullanılabilir. Gerçek cepstruma göre daha fazla bilgi taşır, ancak sayısal olarak daha hassastır.

Fourier dönüşümü, çerçeve ve pencere

Ayrık Fourier dönüşümü X[k] = Σ(n=0…N−1) x[n] · e^(−j2πkn/N) ile hesaplanır. Dönüşümün frekans örnekleri Δf = fₛ/N aralıklıdır; bu aralık, iki yakın sinüzoidi ayırt etme yeteneğiyle tek başına eşdeğer değildir. Gerçek ayırma gücü gözlem süresi ve kullanılan pencerenin ana lobuyla ilişkilidir. Sinyal pencere sınırlarında periyodik değilse tayfsal sızıntı oluşur. Pencere seçimi ana lob genişliği ile yan lob bastırması arasında ödünleşim taşır.

Kısa zamanlı Fourier dönüşümü X(m,k) = Σₙ x[n] · w[n−mH] · e^(−j2πkn/N) ile zaman içinde değişen tayfı izler. Kısa pencere hızlı olayların zamanını iyi gösterirken düşük frekans ayırımını sınırlar; uzun pencere ters ödünleşime sahiptir. Atlama miktarı H, çerçeveler arası örtüşmeyi ve hesaplama maliyetini belirler. Sentez aşamasında örtüşmeli toplamanın düzgün çalışması için analiz ve sentez pencereleriyle atlama seçiminin uyumu gerekir.

Güç tayfı, cepstrum ve geçerleme

Genlik tayfı, güç tayfı ve güç tayfsal yoğunluğu farklı fiziksel ve istatistiksel anlamlara sahiptir. Logaritmik spektrumun ters Fourier dönüşümüyle hesaplanan gerçek cepstrum, çarpımsal kaynak–filtre bileşenlerini toplamsal yapıda incelemeyi sağlar; log spektrumdaki küçük değerlere sayısal koruma uygulanmalıdır. Mel tabanlı cepstral özniteliklerde ölçek, filtre bankası, logaritma ve kosinüs dönüşümü sırası belirleyicidir. Ayrı analiz parametreleriyle oluşturulmuş spektrogramların renk yoğunlukları doğrudan karşılaştırılmamalıdır.

Ayrık frekans ızgarası ve zaman çözünürlüğü

fₛ = 16000 Hz hızında alınan N = 400 örnekli bir çerçeve 25 ms sürer. Ayrık Fourier dönüşümünün frekans örnekleri arasındaki uzaklık 16000/400 = 40 Hz'dir. Dönüşümü 512 noktaya sıfır doldurmak çizilen spektrumun örnek noktalarını sıklaştırır, fakat gözlem süresini artırmadığından fiziksel frekans ayırma gücünü aynı oranda iyileştirmez. Aynı çerçeve için H = 160 örneklik atlama 10 ms zaman adımı ve yüzde 60 örtüşme verir.

Güç spektrogramında bir frekans bileşeninin parlak görünmesi onun konuşmacı kimliğini veya kaynak türünü tek başına tanımlamaz. Pencere normu, genlik/güç seçimi, logaritmik gösterim ve kanal kazancı ölçeği değiştirebilir. Nicel karşılaştırma için pencere, dönüşüm normalizasyonu ve referans düzeyi aynı olmalıdır.

Örtüşen Pencerelerden Yeniden Oluşturma

Kısa zamanlı Fourier dönüşümü analiz penceresi, çerçeve uzunluğu ve atlama miktarıyla tanımlanır. Pencere genliği yanlış ele alındığında ters dönüşümden elde edilen sesin zaman içinde seviyesi dalgalanabilir. Çerçeveler ters dönüşümden sonra üst üste toplanırken analiz ve sentez pencerelerinin çarpımına göre normalleştirme yapılır: y[n] = Σₘ wₐ[n−mH]wₛ[n−mH] x[n] / Σₘ wₐ[n−mH]wₛ[n−mH], payda sıfır olmayan konumlarda değerlendirilir. Uygulamada başlangıç ve bitiş çerçeveleri ayrıca ele alınır.

Yeterli örtüşme seçimi tek başına doğru yeniden oluşturmayı garanti etmez; pencere ailesi ve sentez ağırlığı birlikte belirlenir. İşlem hattı gecikmesi en az analiz penceresinin gerektirdiği örneklere ve varsa ileri bakış uzunluğuna bağlıdır. Özellikle canlı ses işlemede pencereler arası örtüşme artırıldıkça hesaplama ve tampon maliyeti de artabilir. Fourier tabanlı bir iyileştirme yöntemi, sıfır filtre kazancı altında değil, birim kazanç altında örnek düzeyinde yeniden oluşturma testiyle doğrulanmalıdır.

Ünite 4: Konuşma Sinyalinin Modellenmesi ve Öznitelikler

Spektral Enerji ve Mel Filtre Bankası

Her çerçeve için Fourier dönüşümü alınır ve güç spektrumu hesaplanır:

P[k] = |X[k]|² / N

MFCC doğrudan bütün FFT binlerini kullanmaz. Frekans ekseni, insan işitmesindeki yaklaşık frekans ayırt etme davranışını temsil eden Mel ölçeğine dönüştürülür. Yaygın eşlemelerden biri şöyledir:

mel(f) = 2595 · log10(1 + f / 700)

Mel ekseninde eşit aralıklarla seçilen noktalar tekrar Hertz eksenine taşınır ve çoğunlukla üçgen biçimli filtreler oluşturulur. Her filtrenin çıkışı, güç spektrumundaki ilgili binlerin ağırlıklı toplamıdır:

E_m = Σ P[k] · H_m[k]

Logaritma ve Kepstral Dönüşüm

Filtre bankası enerjilerine logaritma uygulanır. Bu işlem hem geniş dinamik aralığı sıkıştırır hem de kaynak-filtre modelindeki çarpımsal bileşenlerin toplamsal biçimde ele alınmasını kolaylaştırır. Sıfır veya çok küçük enerji için belirli bir alt sınır kullanılmalıdır:

L_m = log(max(E_m, epsilon))

Ardından çoğunlukla ikinci tür ayrık kosinüs dönüşümü uygulanır:

c_r = Σ L_m · cos(πr(m + 0,5) / M)

Düşük sıralı katsayılar spektral zarfın daha yavaş değişen bileşenlerini temsil eder. Yüksek sıralı katsayıların atılması boyutu düşürür; ancak faz bilgisi, ince harmonik yapı ve bazı konuşmacı özellikleri kaybolur. İlk katsayının kullanılması, log enerjiyle değiştirilmesi veya tamamen çıkarılması sistem tasarımına bağlıdır.

Zaman Türevleri ve Normalizasyon

Tek bir çerçevenin MFCC vektörü zamansal hareketi açıklamaz. Klasik konuşma tanıma sistemlerinde birinci ve ikinci zaman türevleri eklenerek delta ve delta-delta özellikleri oluşturulur. Hesap penceresi ve kenar doldurma politikası eğitim ile üretimde aynı olmalıdır.

Kanal ve kayıt koşullarındaki yavaş değişimleri azaltmak için kepstral ortalama normalizasyonu veya ortalama-varyans normalizasyonu uygulanabilir. Çevrim içi sistemlerde gelecekteki çerçeveler kullanılamadığı için normalizasyon penceresi ve gecikme davranışı ayrıca tanımlanmalıdır.

Üretim Sistemlerinde Belirleyici Ayrıntılar

MFCC zinciri aşağıdaki parametrelerin tamamıyla birlikte bir özellik sözleşmesidir:

• Örnekleme hızı ve yeniden örnekleme yöntemi
• Çerçeve uzunluğu ve kayması
• Pencere fonksiyonu
• FFT boyutu ve spektrum normalizasyonu
• Mel ölçeği ve filtre bankası tanımı
• Frekans sınırları
• Logaritmanın tabanı ve enerji alt sınırı
• DCT türü ve normalizasyonu
• Katsayı sayısı ve ilk katsayı politikası
• Delta ve normalizasyon ayarları

Bir model belirli bir sözleşmeyle eğitildiyse çıkarım sırasında küçük görünen bir değişiklik bile özellik dağılımını kaydırabilir. Bu nedenle yalnız katsayı sayısını eşitlemek yeterli değildir; bütün ön işleme zinciri test vektörleriyle doğrulanmalıdır.

Ses öznitelikleri, ham dalga biçimini eşleştirme, sınıflandırma ve tanıma için daha kararlı temsillere dönüştürür. Göreve göre zaman alanı, frekans alanı veya öğrenilmiş gömme vektörleri kullanılabilir.

Ön İşleme: Ön Vurgu, Çerçeveleme ve Pencereleme

Klasik konuşma işleme hatlarında uzun kayıt doğrudan tek parça halinde analiz edilmez. Konuşmanın kısa zaman aralıklarında yaklaşık durağan kabul edilebilmesinden yararlanılarak sinyal çerçevelere bölünür ve her çerçeve ayrı incelenir.

Ön vurgu filtresi yüksek frekans bileşenlerini göreli olarak güçlendirmek için tarihsel olarak sık kullanılmıştır. Basit bir biçimi:

y[n] = x[n] - α x[n-1]

şeklindedir. α sabiti uygulamaya göre seçilir. Ön vurgu her modern model için zorunlu değildir; özellikle ham dalga veya log-Mel girdisi kullanan sistemlerde eğitim hattıyla aynı ön işleme uygulanması daha önemlidir.

Çerçeve sınırında sinyali doğrudan kesmek tayfsal sızıntıyı artırabilir. Hamming veya benzeri pencere işlevleri çerçevenin uçlarını yumuşatır. Pencere uzunluğu ve kayma miktarı zaman çözünürlüğü ile frekans çözünürlüğü arasındaki dengeyi belirler.

FFT, pencere uygulanmış çerçeveyi frekans bileşenlerine ayırmak için verimli bir hesaplama yoludur. STFT bu işlemi ardışık çerçeveler üzerinde tekrarlayarak zaman-frekans gösterimi üretir. MFCC, filtre bankası ve kepstral dönüşüm gibi sonraki adımlar bu kısa zamanlı tayfsal yapı üzerine kurulabilir.

Zaman ve frekans öznitelikleri

Kısa zamanlı enerji ve zero-crossing rate düşük maliyetli zaman alanı ölçüleridir. STFT, kısa pencereler içindeki frekans bileşenlerini hesaplayarak zaman-frekans gösterimi oluşturur. Pencere uzunluğu zaman ve frekans çözünürlüğü arasında doğrudan denge kurar.

MFCC ve tayfsal temsiller

MFCC, Mel filtre bankası enerjilerinin logaritmik ve kepstral dönüşümünden elde edilir. Konuşma tanıma ve konuşmacı modellemede uzun süre temel özniteliklerden biri olmuştur.

Pitch, formant, spectral slope, jitter ve shimmer sesin farklı fiziksel veya algısal özelliklerini temsil eder.

Konuşma Özniteliklerinin Hesaplama Zinciri

Bir konuşma sınıflandırıcısının girdi temsili için önce kanal ve örnekleme standardı sabitlenir; konuşma içermeyen veya kırpılmış çerçeveler işaretlenir. Ön vurgu kullanılacaksa katsayısı ve frekans cevabı belirtilir; tüm öğrenilmiş akustik temsillerin ön vurguya ihtiyaç duyduğu varsayılmaz. Çerçeveleme ve pencerelemeden sonra güç spektrumu kestirilir, filtre bankası enerjileri hesaplanır, gerekli logaritmik dönüşüm ve cepstral izdüşüm uygulanır. log(0) durumunu önleyen enerji tabanı, düşük enerjili çerçevelerin dağılımını etkiler.

Eğitim verisinden hesaplanan normalizasyon ortalaması ve varyansı test verisiyle yeniden öğrenilmez. Sesin tek bir cümle düzeyinde normalleştirilmesi ile kayıt/konuşmacı düzeyindeki normalizasyon farklı bilgiler silebilir; seçim, amaçlanan görevin değişmezlik varsayımına bağlıdır. Gürültü azaltma, VAD ve öznitelik çıkarımı aynı deneyde değiştiriliyorsa hangi aşamanın kazanım veya bozulma ürettiği anlaşılamaz. Bu nedenle değerlendirme, her defasında bir kararın değiştirildiği kontrollü karşılaştırmalarla yapılır.

Öğrenilmiş gömmeler

Güncel sistemler bir ses parçasını doğrudan yoğun konuşmacı gömme vektörüne veya genel ses embedding'ine dönüştürebilir. Eşleştirme kosinüs benzerliği, PLDA veya öğrenilmiş skorlayıcılarla yapılabilir.

Kanal, mikrofon, codec ve akustik ortam temsil dağılımını değiştirebilir. Bu nedenle normalizasyon ve alan uyumu öznitelik hattının bir parçasıdır.

Büyük veri kümelerinde vektör boyutu depolama, indeks hacmi ve sorgu gecikmesini de belirler.

Konuşmanın kaynak–filtre modeli

Sesli konuşma, yaklaşık olarak ses telleri tarafından üretilen uyarımın ses yolu rezonanslarıyla biçimlendirilmesi olarak modellenebilir. Kısa zaman aralığında S(z) = E(z)H(z) ifadesi uyarım ve aktarım fonksiyonunu ayırır. Ünlü seslerde formant bölgeleri ses yolunun rezonansına ilişkin ipucu verir; temel frekans ile formant frekansı aynı kavram değildir. Ses yolu anatomisi, artikülasyon, kayıt kanalı ve konuşma görevi formant ölçümlerini etkileyebilir.

Doğrusal öngörü modeli x[n] ≈ −Σ(k=1…p) aₖx[n−k] + e[n] ile kısa dönem spektral zarfı tahmin eder. Model derecesinin yanlış seçimi gerçek rezonansları birleştirebilir veya yapay tepeler oluşturabilir. Cepstral lifterleme, log tayfta yavaş değişen kanal ve ses yolu özellikleriyle hızlı değişen uyarım ayrımını yaklaşıklar, ancak eksiksiz fiziksel ayrıştırma sağlamaz.

Klasik ve öğrenilmiş temsiller

Kısa zamanlı enerji, sıfır geçiş oranı, perde göstergeleri, tayfsal merkez ve spektral eğim farklı akustik olayları temsil eder. Mel frekanslı cepstral katsayılar, log filtre bankası enerjilerinin kosinüs dönüşümüne dayanır. Katsayı sayısı, pencere, ön vurgu, normalizasyon ve türev öznitelikleri sonucu etkiler; cepstrum ile bütün Mel işlem hattı eşanlamlı değildir.

Öğrenilmiş ses temsilleri sınıflandırma veya konuşma çözümleme için daha yüksek seviyeli örüntüler çıkarabilir. Ancak temsilin eğitim amacı, kayıt uzunluğu, dil, kanal ve alan değişimiyle ilişkisi ayrıca ölçülmelidir. Konuşmacı karşılaştırması için optimize edilmiş bir gömme, duygu tanımada veya ses kaynağı tespitinde otomatik olarak optimal değildir.

Ünite 5: Gürültü Azaltma ve Ses İyileştirme

Ses onarma, bozulmuş kayıttan daha temiz veya görev açısından daha kullanışlı bir işaret kestirmeyi amaçlar. Gürültü, yankı, clipping ve paket kaybı farklı bozulma modelleri oluşturur.

Gürültü Türü ve Süzgeç Seçimi

Gürültü tek bir sınıf değildir. Yaklaşık durağan arka plan uğultusu, dar bantlı elektrik şebekesi bileşenleri, geniş bant gürültü, darbeli bozulmalar, rüzgâr, mekanik titreşim ve başka konuşmalar farklı tayfsal ve zamansal özelliklere sahiptir. Bu nedenle “gürültü filtresi” tek bir genel işlem olarak düşünülmemelidir.

Klasik süzgeçler frekans bölgesine göre farklı amaçlar taşır:

• düşük geçiren süzgeç yüksek frekansları bastırır,
• yüksek geçiren süzgeç düşük frekansları bastırır,
• bant geçiren süzgeç belirli aralığı korur,
• bant durduran veya çentik süzgeç belirli aralığı bastırır.

Kesim frekansı sabit bir reçete değildir. Konuşmanın yararlı spektrumu, kayıt cihazı, örnekleme frekansı ve gürültünün konumu birlikte incelenmelidir. Yanlış seçilen süzgeç gürültüyle birlikte konuşma bilgisini de silebilir.

Periyodik veya dar bantlı parazitlerde tayfsal yapı belirgin olabilir; değişken çevresel gürültüde ise sabit filtre yetersiz kalabilir. Bu durumda gürültü kestirimi, adaptif yöntemler veya öğrenilmiş modeller gerekebilir.

Gürültü azaltma

Spectral subtraction ve Wiener filtresi, gürültü istatistiği yeterince kestirilebildiğinde durağan veya yarı durağan gürültüyü azaltabilir. Yanlış gürültü tahmini müzikal gürültü gibi yeni artefaktlar oluşturabilir.

Öğrenilmiş denoiser modeller karmaşık gürültülerde daha başarılı olabilir; fakat eğitim dağılımı dışında sinyal bileşenlerini de bastırabilir.

Yankı ve mikrofon dizileri

Akustik yankı giderme, hoparlörden mikrofona giden yolu adaptif olarak modeller. Çok mikrofonlu beamforming, faz ve gecikme farklarını kullanarak belirli yönden gelen sesi güçlendirebilir.

Packet-loss concealment eksik örnekleri, declipping ise doygun bölgeleri kestirmeye çalışır.

Görev tabanlı değerlendirme

Ses kalitesindeki algısal artış her zaman sonraki modelin başarımını artırmaz. ASR, konuşmacı tanıma veya olay algılama sistemlerinde iyileştirme, hedef görevin ölçütleriyle birlikte değerlendirilir.

Adli kullanımda orijinal kayıt ayrı tutulur; filtre parametreleri, yazılım sürümü ve oluşturulan türev kayıtlar işlem zincirinin parçası olarak saklanır.

Adli Ses İyileştirmesinde Sınır

Adli kayıtta amaç, kaydı “daha güzel” duyurmaktan çok incelenebilirliği artırırken özgün delili korumaktır. Konuşmayı örten uğultu veya dar bantlı parazit azaltılabilir; ancak uygulanan her süzgeç işaretin bir bölümünü de değiştirebilir.

Spektrogram zaman, frekans ve enerji dağılımını birlikte gösterdiği için konuşma, parazit ve kayıt artefaktlarını incelemede yararlıdır. Bununla birlikte tek bir spektrogram görüntüsü konuşmacı kimliğini kesin biçimde kanıtlayan bir “ses parmak izi” değildir. Konuşmacı karşılaştırması kayıt koşulları, yöntem, hata oranı ve belirsizlikle birlikte değerlendirilmelidir.

Güvenilir işlem zincirinde özgün dosya salt okunur biçimde korunur; çalışma kopyası veya türev dosya ayrı üretilir. Kullanılan süzgeç, parametreler, yazılım sürümü, giriş/çıkış hash değerleri ve işlem sırası kaydedildiğinde sonuç daha sonra yeniden üretilebilir ve denetlenebilir.

Gürültü ayrımı ve spektral kestirim

Gözlenen ses y[n] = s[n] + v[n] modeli altında hedef konuşma ve ek gürültü toplamı olarak ele alınabilir; yankı ve kanal bozulması varsa daha genel bir evrişimsel model gerekir. Durağan gürültü ile kısa süreli darbeler aynı kestirimciye uygun değildir. Tayfsal çıkarma, gürültü tayfı kestirimini kullanarak bileşenleri azaltır; agresif ayar müzikal gürültü ve konuşma harmoniklerinde kayıp oluşturabilir. Wiener süzgeci beklenen hedef ve gürültü güçlerinin oranından kazanç oluşturur; doğru kovaryans kestirimi gerektirir.

Uyarlamalı filtrelerde katsayılar hata işaretinden güncellenir. Örneğin kare hata minimizasyonuna dayalı iteratif uyarlama, adım büyüklüğü aşırı büyük olduğunda kararsızlaşabilir; küçük olduğunda değişen akustik ortama yavaş uyum sağlar. Mikrofon dizilerinde uzamsal filtreleme hedef kaynağın geliş yönünden yararlanırken başka yönlerden gelen sinyalleri bastırmayı amaçlar; yön hatası hedef konuşmayı da zayıflatabilir.

Gürültü Profili, Kazanç Kestirimi ve İşitsel Artifaktlar

Gürültü bastırmada ilk karar, sessiz kabul edilen parçanın yalnız arka plan gürültüsünü temsil edip etmediğidir. Konuşma veya başka olaylar içeren bir profilden öğrenilen gürültü modeli hedef işareti de silebilir. Durağan gürültü yaklaşımında kısa zamanlı spektrumun gücü Pᵧ = Pₛ + Pₙ olarak yaklaşık ayrılabilir; korelasyon ve durağan olmama koşullarında bu eşitliğin sınırlı olduğu bilinmelidir. En küçük ortalama karesel hata yaklaşımına dayanan tayfsal kazanç G(k,m) ≈ Pₛ(k,m)/(Pₛ(k,m)+Pₙ(k,m)) olup gürültü gücü aşırı kestirilirse konuşma bileşenleri bastırılır. Sert tayfsal sıfırlama yerine uygun yumuşak maskeleme, müzikal gürültü artifaktlarını azaltabilir.

Bir karşılaştırma deneyinde aynı test kayıtlarına farklı yöntemler aynı örnekleme, ses seviyesi ve zaman hizalamasıyla uygulanır. Önce temiz referans bulunuyorsa işaret bozunum ölçütleri, ardından bağımsız konuşma tanıma çıktısı ve işitsel değerlendirme kullanılır. SNR artışı, kelime hatasının zorunlu olarak azalacağını göstermez. Adli kayıtta özgün dosya, işlem öncesi ve sonrası işaretler ile bütün filtre parametreleri ayrı saklanır; anlaşılır hâle getirilen konuşmanın kayıtta olmayan fonetik ayrıntıları güvenilir biçimde yeniden yarattığı iddia edilmez.

İyileştirmenin delil sınırı

Öğrenilmiş ses iyileştirme sistemleri gürültü altında daha anlaşılır çıkış üretebilir fakat eğitim dağılımına uygun ses birimleri oluşturabilir. Üretilen ayrıntı doğrudan özgün kayıtta ölçülmüş değildir. Bu nedenle iyileştirilmiş kayıt özgün dosyanın yerine geçirilmez; çıktı kontrol dinlemesi, sistematik bozulma incelemesi ve görev temelli ölçümlerle değerlendirilir.

SNR gibi ölçütler hedef ve gürültü bileşenlerinin ayrı bilindiği deneylerde güçlüdür. Gerçek adli kayıtta bu bileşenler genellikle bilinmez; referanssız kalite metrikleri de kesin doğruluk kanıtı değildir. Bir filtreleme ayarının konuşmayı anlama üzerindeki etkisi bağımsız dinleyici değerlendirmesiyle veya uygun etiketli veriyle sınanabilir.

Ünite 6: Çok Kanallı Ses ve Uzamsal İşleme

Kanal sahipliği ve VAD kararları

Kanal sahipliğinin güvenilirliği aşağıdaki altyapı varsayımına bağlıdır:

channelOwner(left) = A
channelOwner(right) = B

Bu eşleme iki uçlu telefon, telsiz veya operatör sistemleri gibi yapılarda sağlanabilir. Ancak bir kanalda enerji bulunması, o kanal sahibinin konuştuğunu tek başına göstermez. Karşı kanal sızıntısı, hoparlör-mikrofon yankısı, otomatik kazanç kontrolü, çevresel gürültü, tonlar, kısa darbeler ve codec artefaktları yanlış etkinlik oluşturabilir.

Bu nedenle aşağıdaki enerji karşılaştırması yeterli değildir:

energy(left) > energy(right) ise konuşmacı A

Bu kural yalnızca baskın genliği seçer; konuşma etkinliğini, diğer kanalın gerçekten sessiz olup olmadığını veya eşzamanlı konuşmayı belirlemez. Daha sağlam yaklaşım, her kanal için bağımsız VAD kararı üretmektir:

VL = 0, VR = 0 → sessizlik
VL = 1, VR = 0 → sol kanal adayı
VL = 0, VR = 1 → sağ kanal adayı
VL = 1, VR = 1 → eşzamanlı veya belirsiz etkinlik

İki kanalın eşzamanlı etkinliği için evrensel bir doğru politika yoktur. Tek aktif segment ve çakışmayan çıktı koşulunda, mevcut sahibin önceliğini korumak deterministik bir tercihtir. Aktif segment A'ya aitken iki kanal da etkin olduğunda A sürer; B, A'nın etkinliği sonlandıktan ve B etkinliği doğrulandıktan sonra sahip olabilir. Bu yaklaşım gerçek eşzamanlı konuşmanın tüm ayrıntılarını temsil etmez, ancak çakışan zaman aralıkları üretmez ve tek ses akışı bekleyen aşağı akış ASR sistemleriyle uyumludur.

Zaman farkı ve kaynak yönü

İki mikrofon arasındaki zaman farkı Δt, mikrofonlar arası geometrik ayrım ve geliş açısıyla ilişkilidir. Uygun uzak alan ve düzlemsel dalga varsayımlarında Δt ≈ d sin(θ)/c yazılabilir; açının tanımı geometriye göre değişir. Çapraz korelasyon ve faz tabanlı kestirim gecikmeyi bulmak için kullanılabilir. Yansımalı ortamlar ve birden çok kaynak çoklu tepe oluşturur; tek gecikme kestiriminin doğruluğu garanti değildir.

Demet oluşturma, mikrofon işaretlerini kaynak yönüne göre geciktirip ağırlıklandırarak birleştirir. Dar bant ve geniş bant koşullarında optimum ağırlıklar farklılaşır. Sinyal kalitesini iyileştirmek amacıyla tasarlanmış bir uzamsal süzgeç, kaynak konumuna ilişkin delil zincirinde hatalı kesinlik yaratmamalıdır; geometri ve kalibrasyon belirsizliği hesapta yer alır.

Kanal Sızıntısını ve Mekânsal Gecikmeyi Ayırma

İki kanal arasındaki enerji farkı konuşmacı sahipliği için tek başına yeterli değildir. Önce her kanalın örnekleme saatinin ve gecikmesinin karşılaştırılabilir olduğu doğrulanır. Çapraz korelasyonun tepe noktası ortak işaretin göreli kaymasını verebilir; oda yansımaları, otomatik kazanç ve iki farklı kaynağın eşzamanlılığı bu tepeyi belirsizleştirir. Bir kanaldaki konuşmanın diğer kanala sızması durumunda benzer dalga şekilleri ve tutarlı gecikme saptanabilir; bu gözlem bağımsız ikinci konuşmacı etkinliğinden ayrıştırılmalıdır.

İş hattında iki kanaldan gelen VAD kararları zaman eksenine hizalanır. Kanal kimliği kayıt altyapısıyla önceden tanımlanmışsa ses benzerliğinden yeniden kimlik çıkarmak gerekli değildir; bunun yerine sızıntı bastırma veya belirsizlik etiketi uygulanır. Kanal kimliği bilinmiyorsa kaynak yönü kestirimi ancak mikrofon geometrisi ve akustik model altında anlam taşır. İki mikrofonun uzak alan yaklaşımında ölçülebilir azami zaman farkı yaklaşık |Δt| ≤ d/c ile sınırlıdır; bunun dışındaki kestirimler geometri, senkronizasyon veya çok yollu yayılım açısından incelenir.

Kanal sahipliği ile konuşmacı kimliği

Fiziksel olarak ayrı iki kanal, kayıt mimarisi doğrulandığında konuşmacı ayrımı için güçlü bir yardımcı bilgi sağlayabilir. Ancak iki kanalın da aynı odadan ses aldığı veya karıştırıldığı kayıtlarda bir kanalın tek kişiye ait olduğu sonucu çıkarılamaz. Kanal ayrımı, zaman damgası ve konuşma etkinliği birlikte kullanılabilir; karşılıklı konuşma ve üst üste konuşma durumları ayrı modellenir. Deterministik kanal etiketlemesi yalnız kayıt zincirinin gerçekten deterministik olduğu sınırda geçerlidir.

Ünite 7: Ses Bölütleme ve Konuşma Etkinliği

Çerçeve, dönüş ve segment zaman ölçekleri

VAD kısa PCM çerçeveleri üzerinde çalışır. Örnek yapılandırmada örnekleme hızı 16 kHz, örnek biçimi 16 bit signed little-endian ve çerçeve süresi 10 ms'dir. Tek kanal için çerçevedeki örnek sayısı:

N = 16000 × 0,010 = 160 örnek

Her örnek iki bayt olduğunda mono çerçeve boyutu 320 bayt, stereo interleaved çerçeve boyutu ise 640 bayttır:

160 × 2 = 320 bayt
160 × 2 kanal × 2 bayt = 640 bayt

Tek bir 10 ms VAD kararı, doğrudan segment açma veya konuşmacı değiştirme kararına dönüştürülmemelidir. Gürültü darbeleri, patlamalı ünsüzler, yankı ve geçici sızıntılar kısa süreli karar değişimlerine yol açabilir. Bu nedenle üç zaman ölçeği ayrılmalıdır:

1. Çerçeve düzeyi: VAD'nin anlık gözlemi.
2. Dönüş düzeyi: Konuşmacı değişiminin doğrulandığı kısa pencere.
3. Segment düzeyi: ASR veya başka bir modele gönderilen uzun zaman aralığı.

Aday sahip, belirli sayıda ardışık çerçevede baskın kalmadan aktif sahip değiştirilmez:

candidateFrames >= confirmThreshold

10 ms çerçevelerde confirmThreshold = 4, yaklaşık 40 ms doğrulama penceresine karşılık gelir. Sekiz çerçeve ise yaklaşık 80 ms gözlem sağlar. Bu eşikler dilsel birimi ölçmez; sinyal kararının zamansal kararlılığını sınar.

Tek aktif segmentli bir durum makinesi aşağıdaki değişkenlerle kurulabilir:

owner ∈ {NONE, A, B}
segmentStart
segmentEnd
candidateOwner ∈ {NONE, A, B}
candidateCount
silenceCount

Aktif sahip yokken yalnızca bir kanal yeterince uzun konuşma taşıyorsa yeni segment açılır. A aktifken sol kanal etkin kaldığında segment uzatılır. Sol kanal sessizleşip sağ kanal etkinleştiğinde doğrudan A → B geçişi yapılmaz; önce B aday olur. Doğrulama süresi tamamlanırsa A segmenti kapatılır ve B segmenti açılır:

A → candidate B → B

Sessizlik, hedef süre ve zorunlu sınırlar

Sessizlik toleransı segment uzunluğuna göre değiştirilebilir:

segment < 3 saniye → yaklaşık 1000 ms
3 saniye ≤ segment < 25 → yaklaşık 300 ms
segment ≥ 25 saniye → yaklaşık 200 ms

Parça parça tanımlanan eşik fonksiyonu şöyledir:

 1000 ms, 0 ≤ T < 3
G(T) = 300 ms, 3 ≤ T < 25
 200 ms, T ≥ 25

Burada T aktif segment süresi, G(T) ise segmenti kapatmak için gereken ardışık sessizlik süresidir. Kısa segmentlerde daha uzun bekleme, bir veya iki kelimelik başlangıçtan sonraki doğal duraklamanın segmenti erken kapatmasını önler. Uzun segmentlerde daha kısa eşik ise segment büyümesini, model çağrısı gecikmesini ve bellek kullanımını sınırlar.

İki farklı uzunluk sınırı birlikte kullanılabilir:

hedef süre : 25 saniye
sert üst sınır : 29 saniye

Uygulama davranışı şu şekilde tanımlanır:

T < 25 s
 doğal sessizlik kurallarını uygula

25 s ≤ T < 29 s
 ilk uygun sessizlikte kapat

T ≥ 29 s
 sessizlik beklemeden zorunlu kapat

Hedef süre doğal duraklamalarda kapanışı tercih eder. Sert üst sınır, kesintisiz konuşmada segmentin büyüklüğünü kesin biçimde sınırlar. Bu sınırlar ASR çıkarım süresini, geçici tensor boyutlarını, özellik çıkarımı maliyetini, kuyruk gecikmesini ve hata durumunda yeniden işlenecek veri miktarını denetlemeye yardımcı olur.

Sert sınır çerçeve sınırına hizalanmalıdır. 10 ms çerçevelerde 29 saniye 2900 çerçevedir:

29 × 100 = 2900 çerçeve

Yuvarlama hatalarını önlemek için süre, kayan noktalı saniyeler yerine işlenmiş örnek veya çerçeve sayısıyla izlenebilir:

frameStart = processedSamples
frameEnd = frameStart + validSamples

Zaman damgası örnek konumundan türetilir:

timeMs = sampleIndex × 1000 / sampleRate

16 kHz için:

timeMs = sampleIndex / 16

Tamsayı bölme sırası ve yuvarlama politikası sistem genelinde aynı kalmalıdır.

Minimum konuşma süresi ve ortak yönlendirme

Her VAD etkinliğinin doğrudan modele gönderilmesi verimli değildir. Kısa gürültüler, ünlemler ve yarım kelimeler gereksiz çıkarım oluşturabilir. Bu nedenle iki ayrı alt sınır kullanılabilir:

minimum gerçek konuşma süresi : 1 saniye
minimum model giriş süresi : 3 saniye

Bir saniyeden kısa etkinlikler segment olarak reddedilebilir. Bir ile üç saniye arasındaki geçerli konuşma, modele gönderilmeden önce sessizlikle üç saniyeye tamamlanabilir. Geçerlilik ve model giriş boyutu ayrı değişkenlerle değerlendirilmelidir:

speechDuration = gerçek etkin konuşma süresi
modelDuration = konuşma + eklenen sessizlik

Geçerlilik kararı speechDuration üzerinden, model giriş boyutu ise modelDuration üzerinden verilmelidir. Dolgulama içerik miktarını artırmaz; yalnızca modelin minimum giriş koşulunu karşılar.

Mono girişte tek VAD sonucu doğrudan genel konuşmacı etiketi veya A'ya yönlendirilebilir:

V(t) = 1 → A
V(t) = 0 → NONE

Stereo girişte kanallar ayrı tamponlara ayrılır ve bağımsız VAD uygulanır. Her iki giriş türü de ortak route mantığına aynı bilgileri iletebilir:

owner
PCM verisi
geçerli bayt sayısı
frameStart
frameEnd

Böylece segmentleme altyapısı ortak kalır; fark yalnızca sahip belirleme aşamasındadır:

mono → tek VAD sonucu
stereo → iki VAD sonucu + sahiplik politikası

Interleaved stereo PCM düzeni L0, R0, L1, R1, L2, R2, ... biçimindedir. Kanallar ayrı tamponlara kopyalanırken iki kanaldaki n numaralı örnek aynı zaman konumunu temsil etmelidir. İşlenmiş örnek sayısı kanal başına zaman eksenini göstermelidir:

processedSamples += validSamplesPerChannel

Stereo toplam örnek sayısı veya toplam bayt sayısı bu değişkene doğrudan eklenmemelidir.

Ses bölütleme, sürekli bir ses akışını konuşma, sessizlik, konuşmacı değişimi veya akustik olay gibi anlamlı zaman aralıklarına ayırır. Bölüt sınırları sonraki tanıma ve sınıflandırma aşamalarının giriş dağılımını doğrudan belirler.

Konuşma etkinliği algılama

Voice Activity Detection, kısa zaman aralıklarında konuşma olup olmadığını kestirir. Enerji tabanlı yöntemler düşük maliyetlidir; öğrenilmiş modeller değişken gürültü koşullarında daha dayanıklı olabilir.

Kare düzeyindeki kararlar minimum konuşma süresi, sessizlik toleransı ve hangover gibi zaman parametreleriyle yumuşatılır.

Konuşmacı ve olay sınırları

Konuşmacı değişimi ardışık ses parçalarının temsil farklarından bulunabilir. Konuşmacı ayrıştırma zincirinde bölütler embedding'e dönüştürülür ve kümelenir. Örtüşen konuşmada aynı zaman aralığında birden fazla konuşmacı bulunabilir.

Akustik olay bölütlemede hem sınıf hem sınır zamanı önemlidir. Olay tabanlı F1 ve zaman toleransı, yalnız kare doğruluğundan daha açıklayıcı olabilir.

Sistem etkisi

Kare boyutu, overlap ve tamponlama gecikmeyi ve hesaplama maliyetini belirler. Çok kısa segmentler ASR veya speaker modellerine yeterli bağlam sağlamaz; çok uzun segmentler farklı olayları birleştirebilir.

Bölütleme bu nedenle model öncesi küçük bir adım değil, tüm ses işleme zincirinin davranışını belirleyen temel katmandır.

Çerçeveleme ve eşik kararları

Ses çerçevelere ayrılarak enerji, spektral değişim ve konuşmaya özgü istatistikler üzerinden sınıflandırılabilir. Kısa çerçeve hızlı sınır tespiti sağlarken karar varyansını artırabilir; uzun pencere düşük enerjili sesleri daha dengeli ele alır fakat başlangıç gecikmesi yaratır. Konuşma etkinliği algılaması ile konuşmacı sınırı kestirimi ayrı görevlerdir: konuşmanın sürmesi aynı kişinin konuştuğu anlamına gelmez.

Karar akışında başlangıç ve bitiş için farklı eşikler, minimum konuşma süresi, sessizlik bekleme ve ardışık doğrulama mekanizmaları titreşimli açılma-kapanmayı azaltabilir. Ancak her doğrulama penceresi gecikmeye eklenir; bu ödünleşim gerçek zaman gereksinimiyle beraber ölçülür. Örtüşen konuşmada yalnız ikili konuşma/sessizlik etiketi, eşzamanlı kaynak sayısını göstermez.

Konuşma Etkinliği Kararından Segmente

Bir VAD modelinin çerçeve başına ürettiği olasılık dizisi doğrudan segment listesi değildir. İki eşik kullanan bir durum makinesinde konuşmaya giriş eşiği, konuşmada kalma eşiğinden yüksek seçilerek sınır çevresindeki titreşim azaltılabilir. Kısa sessizlikler tek bir sözcüğü parçalamasın diye sınırlı bekleme uygulanır; ancak iki farklı konuşmacının kısa aralıklı sözleri körlemesine birleştirilmez. Başlangıç ve bitişe eklenen bağlam, özgün örnek ofseti üzerinden hesaplanır; segment süreleri yuvarlanmış milisaniye toplamlarından üretilmez.

Aşağı akış modelinin en fazla L örnek işleyebildiği durumda bir konuşma segmenti uzunluğu L sınırını aşarsa bölme yapılır; en düşük enerji bölgesinden sınır seçmek, kelime içi kesmeye göre daha az bilgi kaybedebilir ancak garantili değildir. Kısa konuşmaların atılması yerine birleştirme veya özel işleme seçiminin hatası ölçülür. Değerlendirme sadece çerçeve duyarlılığıyla sınırlanmaz: konuşmanın kaçırılan süresi, fazladan taşınan sessizlik, kelime sınırlarının kırılması, toplam segment sayısı, gecikme ve konuşma tanıma hatası birlikte incelenir. Sınır değişiminde bütün zaman damgaları aynı kaynak örnek sayacına dayanmalıdır.

Sınır hatası ve hata yayılımı

Sözcüğün başını veya sonunu eksilten bölütleme konuşma tanımada sonradan telafi edilemeyen hata oluşturabilir. Uzun segmentler bağlamı korurken bellek kullanımı ve ilk yanıt süresini artırır; aşırı kısa segmentler kelimeyi bölebilir. Adli incelemede her parça kaynak kayıtta değişmez zaman aralığına bağlanmalı, kod çözücü gecikmesi veya yeniden örnekleme nedeniyle oluşan saat kaymaları izlenmelidir.

Ünite 8: Konuşmacı Tanıma ve Ayrıştırma

Determinizm ve kanal ayrımının sınırları

Sabit çerçeve boyutu, önceden ayrılmış tamponlar, tamsayı örnek sayaçları ve açık durum geçişleri kullanıldığında çerçeve başına işlem maliyeti yaklaşık sabittir:

O(N)

Burada N çerçevedeki örnek sayısıdır. Toplam maliyet ses süresiyle doğrusal büyür:

O(F × N)

F, toplam çerçeve sayısını gösterir. Her çerçevede yeni nesne, koleksiyon, akış, lambda veya geçici kanal dizisi oluşturmak çöp toplayıcı basıncını ve gecikme değişkenliğini artırabilir. Önceden ayrılmış tamponlar ile yeniden kullanılan VAD durumları, zaman davranışını daha öngörülebilir kılar. Aynı girdiden aynı segmentlerin üretilmesi, hata ayıklamada VAD, kanal seçimi, ASR ve metin sonrası işlemlerin ayrı incelenmesini sağlar.

Kanal tabanlı sahiplik, genel diarization'ın yerine her durumda geçebilen bir yöntem değildir. Aynı kanalı birden fazla kişi kullanıyorsa, mikrofonlar konuşmacıya sabit değilse, stereo kayıt yalnızca mekânsal ses için oluşturulmuşsa, kanallar mikslenmişse, bir konuşmacı iki kanala benzer düzeyde yayılıyorsa veya yönlendirme kayıtlar arasında değişiyorsa kanal kimliği konuşmacı kimliği olarak kullanılamaz. Bu koşullarda embedding tabanlı temsilciler, kümeleme, speaker verification veya beamforming gibi yöntemler gerekir.

Buna karşılık kanal eşlemesi altyapı tarafından güvenilir biçimde sağlanıyorsa, konuşmacı kimliğini yeniden tahmin etmek gereksiz hesaplama ve belirsizlik ekleyebilir. VAD yalnızca konuşma etkinliğini gözlemler; kanal eşlemesi kimliği verir; durum makinesi zaman içi tutarlılığı sağlar; segment kuralları ise aşağı akış modelinin gecikme ve giriş sınırlarını korur.

Deterministik Bilginin Geçerlilik Koşulu

Bu yaklaşımın en önemli önkoşulu, kanal kimliğinin gerçekten konuşmacı rolünü taşımasıdır. Örneğin kayıt altyapısı kanal 0'ı hedef, kanal 1'i karşı taraf olarak sözleşme gereği sabitliyorsa konuşmacı kimliği ölçümden önce bilinen metadata'dır; aynı ayrımı yeniden diarization modeliyle tahmin etmek gereksiz hata olasılığı ekleyebilir. Ancak stereo yalnız iki mikrofon veya mekânsal kanal anlamına geliyor ve kişi-kanal eşlemesi değişebiliyorsa bu çıkarım geçersizdir.

Konuşmacı tanıma, ses örneklerinden konuşmacı kimliği hakkında benzerlik skoru üretir. Kimlik belirleme, doğrulama ve konuşmacı ayrıştırma farklı karar problemleridir.

Kimlik Belirleme ve Doğrulama

Konuşmacı tanıma iki farklı karar problemine ayrılır.

Konuşmacı doğrulama, kullanıcının ileri sürdüğü kimliği sınar. Test kaydı çoğunlukla tek bir kayıtlı konuşmacı modeliyle karşılaştırılır; soru “bu kayıt iddia edilen kişiye ait mi?” biçimindedir.

Konuşmacı kimlik belirleme, kaydın bilinen konuşmacılar arasından hangisine ait olduğunu araştırır. Test örneği birden çok adayla karşılaştırılır ve açık küme sisteminde hiçbir aday yeterli skora ulaşmazsa “bilinmeyen konuşmacı” sonucu üretilebilir.

Bu iki problem aynı embedding altyapısını kullanabilir; ancak aday sayısı, eşik kalibrasyonu ve hata maliyetleri farklıdır. Bir doğrulama eşiğinin çok adaylı kimlik belirleme için doğrudan uygun olduğu varsayılmamalıdır.

Metne Bağımlı ve Metinden Bağımsız Tanıma

Metne bağımlı sistemde kayıt ve test sırasında belirli bir sözcük, parola veya ifade beklenir. Sistem hem konuşmacı özelliğinden hem de beklenen içeriğin tutarlılığından yararlanabilir. Bu yaklaşım erişim kontrolü gibi kontrollü senaryolarda kullanılabilir.

Metinden bağımsız sistemde konuşmacının hangi sözcükleri söylediği önceden belirlenmez. Model, değişen fonetik içerik altında konuşmacıya ilişkin daha kararlı özellikleri çıkarmaya çalışır. Serbest konuşma, telefon görüşmesi veya arşiv kaydı gibi içerik denetiminin olmadığı durumlarda bu yaklaşım daha uygundur.

Metne bağımlılık ile konuşma tanıma aynı problem değildir. Bir sistem beklenen ifadenin doğru söylenip söylenmediğini konuşma tanıma ile denetleyebilir; konuşmacı modeli ise ses özelliklerinin kayıtlı kişiyle ne ölçüde uyuştuğunu ayrı skorlar.

Klasik yaklaşımlar

GMM-UBM sistemleri konuşmacı dağılımını evrensel arka plan modeliyle karşılaştırır. I-vector yaklaşımı konuşmayı düşük boyutlu total variability uzayında temsil eder. PLDA gibi yöntemler bu temsiller arasında skor üretir.

Öğrenilmiş temsiller

Güncel sistemler x-vector ve benzeri konuşmacı gömme vektörleri kullanır. Eğitim sırasında aynı konuşmacı örneklerinin yakın, farklı konuşmacıların uzak temsiller üretmesi hedeflenir.

Konuşmacı tanıma sonucunda elde edilen skor, seçilen eşik üzerinden kabul veya red kararına dönüştürülür. Kanal farkı, codec, kayıt süresi ve arka plan gürültüsü skor dağılımını değiştirebilir.

Konuşmacı ayrıştırma

Konuşmacı ayrıştırma, “kim ne zaman konuştu?” sorusunu yanıtlar. VAD, segment embedding'leri ve kümeleme aynı zincirde çalışır. Bilinmeyen konuşmacı sayısı ve örtüşen konuşma zorlayıcı durumlardır.

Konuşmacı skoru deterministik kimlik göstergesi değildir; eşik, kayıt koşulları ve hata oranlarıyla birlikte yorumlanır.

Konuşmacı Ayrıştırmada Gömme, Kümeleme ve Belirsizlik

Kanal aidiyetinin bilinmediği kayıtta diarizasyon hattı, konuşma aralıklarının belirlenmesiyle başlar. Yeterli süre ve akustik çeşitlilik taşıyan segmentlerden konuşmacı gömmeleri çıkarılır; çok kısa segmentlerde temsil değişkenliği büyür. Gömme vektörleri aynı model ve normalizasyon altında karşılaştırılır, benzerlik eşiği geliştirme verisiyle seçilir. Kümeleme algoritması, konuşmacı sayısı bilinmiyorsa model seçimi ve belirsizlik politikasına ihtiyaç duyar. Komşu segmentler arasındaki kimlik geçişleri yalnız zamansal yakınlıkla birleştirilmez; kısa süreli karışıklıklar tutarlı çevre segmentlerinden yararlanılarak düzenlenebilir.

Üst üste konuşma, tek etiketli bir zaman çizgisine zorla indirgenirse gerçek konuşmacılardan biri kaybolur. Çok etiketli sonuçların desteklenmediği sistemlerde bu bilgi kaybı açıkça belirtilir. Hata analizi konuşma etkinliği yanlışı, sınır kayması, kümeleme yanlışlığı ve örtüşen konuşma hatasını ayrı inceler. Düşük kaliteli kayıtta yeni konuşmacı açmanın maliyeti ile farklı kişileri birleştirmenin maliyeti aynı olmayabilir; işletim eşiği değerlendirme amacına göre belirlenir. Otomatik konuşmacı etiketi adli kimlik kanıtı değildir.

Üç ayrı karar görevi

Konuşmacı tanıma bir kimlik sınıfını belirlemeye, doğrulama iki örneğin aynı kimlikle ilişkisini sınamaya, diarizasyon ise zaman ekseni üzerinde kimin ne zaman konuştuğunu belirlemeye yöneliktir. Diarizasyon çıktısı yalnız konuşmacı kümelerini içeriyorsa bu kümelerin gerçek kişilere bağlanması ayrıca kimliklendirme gerektirir. Kaynak ayrıştırma birden çok karışmış akustik işareti ayırır; diarizasyonla eşanlamlı değildir.

Öğrenilmiş gömme vektörleri belirli sürelerdeki sesleri düşük boyutlu uzayda temsil eder. Benzerlik kararının güvenilirliği kesit süresi, dil, kanal, gürültü, duygusal durum ve konuşmacı sayısına bağlıdır. Kümeleme eşiği tüm koşullarda sabit başarı sağlamaz. Çok kısa kesitlerde temsillerin varyansı artabilir; bilinmeyen konuşmacılar için açık küme değerlendirmesi gerekir.

Ölçütler ve karşılaştırmalı delil

Diarizasyon hata oranı yanlış konuşmacı ataması, kaçırılmış konuşma ve yanlış konuşma ekleme bileşenlerini içerir. Örtüşen konuşmanın puanlanma yöntemi, kullanılan tolerans ve referans etiketleme protokolü raporlanmalıdır. Konuşmacı doğrulamada eşit hata oranı yalnız belirli bir eşik noktasını gösterir; adli konuşmacı karşılaştırması uygun popülasyon, kalibrasyon ve karşıt hipotezlerle değerlendirilir. Ham gömme uzaklığından kimlik hakkında kesin hüküm üretilemez.

Örtüşen konuşma için değerlendirme örneği

İki konuşmacının aynı anda etkin olduğu 2 saniyelik bir aralık tek konuşmacı etiketiyle temsil edilirse sistemin çıkarımı eksik kalır. Referans anotasyonun her an için kaç konuşmacıyı kabul ettiği ve üst üste konuşmanın hata hesabına dahil edilip edilmediği açıkça belirtilmelidir. Aynı kayıt üzerinde bir yöntem örtüşmeyi yok sayarken diğeri iki konuşmacıyı puanlıyorsa elde edilen diarizasyon hata oranları doğrudan kıyaslanamaz.

Konuşmacı ataması bir kümeleme problemi olduğunda çıktı etiketleri ismen keyfidir. Referans ile sistem etiketleri önce en uygun eşlemeyle eşleştirilir; ardından kaçırılan süre, sahte etkin süre ve karışıklık toplanır. Ses kaynağı ayrıştırılmış olsa bile işaretler arasında ses sızıntısı ve zaman kayması bulunabilir. Ayrıştırma kalitesinin yüksek olması konuşmacı etiketlerinin otomatik olarak doğru olduğu anlamına gelmez.

Ünite 9: Otomatik Konuşma Tanıma

Akustik Kod Çözme ve Işın Araması (Beam Search)

Akustik modellemeyi takiben yürütülen kod çözme (decoding) aşaması, modelin tahmin ettiği akustik birimlerin geçerli sözcüksel veya fonetik dizilere dönüştürüldüğü arama işlemini tanımlar. konuşma tanıma modeli, uçsuz bucaksız olasılık uzayında arama maliyetini düşürmek için dinamik ışın araması (beam search) algoritmasından yararlanır. Bu yöntem, yalnızca en yüksek olasılıklı belirli sayıdaki (beam width) tahmin dizisini aktif tutarak düşük olasılıklı dalları budar. Algoritmanın doğruluk oranı, beam_size parametresinin artırılmasıyla yükseltilebilir; ancak bu durum donanım üzerindeki hesaplama yükünü artırdığından işlem hızını negatif yönde etkiler.

Kod çözme sırasında deterministik çıktı ile stokastik çeşitlilik arasındaki denge temperature (sıcaklık) parametresiyle ayarlanır. konuşma tanıma modeli modelinin uyguladığı dinamik sıcaklık ölçeklendirmesinde, süreç varsayılan olarak sıcaklık 0'da (tamamen açgözlü kod çözme) başlar. Eğer modelin ürettiği belirteçlerin ortalama logaritma olasılıkları belirlenen güven eşiğinin altındaysa veya üretilen dizi içindeki gzip sıkıştırma oranı anomali düzeyinde yüksekse (örneğin tekrar eden hece döngüleri), model sıcaklığı otomatik olarak 1.0'a kadar 0.2'lik adımlarla artırarak yeni diziler örnekler. Bu geriye dönük arama-hata düzeltme yeteneği, hibrit akustik-dil modellerinde olduğu gibi deterministik kuralların ötesine geçerek istatistiksel belirsizlikleri yönetir.

Konuşma tanıma, akustik işareti sözcük, alt-sözcük veya karakter dizisine dönüştürür. Problem akustik temsil, zaman hizalama, dil bilgisi ve arama bileşenlerini bir araya getirir.

Göreve Göre Konuşma Tanıma

Konuşma tanıma sistemleri tarihsel olarak beklenen konuşma yapısına göre de sınıflandırılmıştır. Bu ayrım güncel modellerde mutlak sınırlar halinde kullanılmasa da problemin zorluğunu anlamak için hâlâ yararlıdır.

Ayrışık sözcük tanıma: Kullanıcının tek tek sözcükler veya kısa komutlar söylemesi beklenir. Sözcük sınırları görece belirgindir ve söz dağarcığı küçük tutulabilir.

Sözcük yakalama: Sürekli ses akışı içinden belirli sözcük veya ifadelerin bulunması amaçlanır. Sistem bütün konuşmayı eksiksiz yazıya çevirmek zorunda değildir; hedef olayın nerede geçtiğini saptamak yeterli olabilir.

Sürekli konuşma tanıma: Doğal akıştaki konuşmanın ardışık sözcük dizisine dönüştürülmesini hedefler. Sözcük sınırları açık değildir; konuşma hızı, sesbirim geçişleri, duraksamalar ve bağlam birlikte etkili olur.

Bugünkü uçtan uca modeller bu görevleri aynı temel mimari üzerinde çözebilir. Buna rağmen segmentasyon, gecikme, arama uzayı ve hata maliyeti kullanım senaryosuna göre değişmeye devam eder.

Şablon Eşleme ve Dinamik Zaman Bükme

Küçük söz dağarcıklı erken konuşma tanıma sistemlerinde test örneğini kayıtlı sözcük şablonlarıyla karşılaştırmak yaygın bir yaklaşımdı. Aynı sözcük farklı hızlarda söylendiğinde iki öznitelik dizisinin zaman eksenleri doğrudan çakışmaz.

Dinamik zaman bükme (Dynamic Time Warping, DTW), iki dizinin zaman eksenini doğrusal olmayan biçimde hizalayarak düşük maliyetli bir eşleşme yolu arar. Böylece bir bölümün diğerine göre daha hızlı veya daha yavaş söylenmesi belirli sınırlar içinde karşılaştırılabilir.

DTW olasılıksal dil modeli veya büyük söz dağarcıklı sürekli konuşma çözümleyicisinin yerine geçmez. Buna karşılık şablon eşleme, küçük komut kümeleri ve zaman serisi benzerliği açısından konuşma tanıma tarihinin önemli yöntemlerinden biridir. HMM yaklaşımı daha sonra zaman içindeki durum geçişlerini ve gözlem olasılıklarını istatistiksel model içinde ele alarak daha geniş bir çerçeve sağladı.

Klasik mimariler

Geleneksel sistemlerde MFCC benzeri öznitelikler, akustik model, HMM durumları, telaffuz sözlüğü ve n-gram dil modeli birlikte kullanılır. WFST tabanlı çözümleme bu bileşenleri tek arama grafiğinde birleştirebilir.

n-gram dil modeli

n-gram dil modeli, sözcük dizisinin olasılığını tam geçmiş yerine son n-1 birime koşullayarak yaklaşıklar. Bigram yalnız önceki sözcüğü, trigram önceki iki sözcüğü bağlam olarak kullanır. Eğitim verisinde görülmeyen dizilerin sıfır olasılık üretmemesi için smoothing, backoff veya interpolation uygulanabilir.

Klasik çözümlemede akustik skor ile dil modeli skoru birlikte değerlendirilir. Akustik olarak benzer iki aday arasında dilsel bağlam karar verebilir; buna karşılık güçlü bir dil modeli yanlış akustik hipotezi de aşırı destekleyebilir. Bu yüzden acoustic/language-model ağırlığı ve kelime ekleme cezası gibi parametreler doğrulama verisi üzerinde ayarlanır.

n-gram'ın olasılıksal temeli ve HMM ile ilişkisi İstatistiksel Öğrenme ve Makine Öğrenmesi notunda ele alınır.

Uçtan uca modeller

Konuşma tanıma sistemlerinde CTC kare-seviye hizalama gereksinimini azaltır. RNN-T akışkan çözümleme için uygundur. Transformer ve Conformer yapıları uzun bağlamı etkili biçimde modelleyebilir.

Uçtan uca mimari, VAD, yeniden örnekleme, kanal yönetimi ve segmentasyon gereksinimini ortadan kaldırmaz. Bu katmanlar model girdisinin yapısını belirler.

Tanımayı Etkileyen Koşullar

Aynı model farklı kayıt koşullarında aynı hata dağılımını üretmez. Tanıma başarımını etkileyen başlıca değişkenler arasında konuşmacı farklılığı, konuşma hızı, vurgu, lehçe, mikrofon ve codec, yankı, arka plan gürültüsü, kanal bant genişliği ve hedef söz dağarcığı bulunur.

Kısa ve kontrollü komutlarla eğitilmiş bir sistemin serbest konuşmaya, temiz yakın alan kaydıyla geliştirilmiş bir modelin telefon hattına veya sessiz ortam verisiyle eğitilmiş bir modelin gürültülü sahaya doğrudan genellenmesi beklenmemelidir.

Bu nedenle hata analizi yalnız toplam WER ile bitmez. Kayıt kaynağı, gürültü düzeyi, konuşmacı grubu, sözcük türü, özel adlar ve sayılar gibi anlamlı dilimlerde hata dağılımı ayrıca incelenmelidir.

Ön vurgu, çerçeveleme, pencereleme ve tayfsal öznitelikler Seste Öznitelik Vektörleri ve Eşleştirme, gürültü azaltma ve süzgeç davranışı ise Ses Onarma ve İyileştirme bölümünde ele alınır.

Alan uyumu

Teknik terimler, kişi adları ve kuruma özgü kelimeler genel dil modelinde zayıf temsil edilebilir. Contextual biasing, rescoring ve alan uyarlama bu tür söz varlığını güçlendirebilir.

WER temel hata ölçüsüdür. Sayılar, özel adlar ve kritik terimler ayrıca değerlendirildiğinde sistemin gerçek kullanım başarımı daha iyi görülür.

Gerçek zaman sistemlerinde WER yanında gerçek zaman faktörü, segment gecikmesi, zaman damgası doğruluğu ve sonuç kararlılığı da izlenir.

Konuşma Tanımada Veri Hazırlama ve Kontrollü Uyarlama

Alan uyarlaması, eğitim verisi toplama aşamasında başlar. Kayıtlar örnekleme frekansı, kanal yapısı, konuşma dili, aksan, arka plan gürültüsü, transkript doğruluğu ve konuşmacı örtüşmesi bakımından sınıflandırılır. Aynı konuşmacının veya aynı kaydın parçalarının eğitim ve test kümelerine karışması, bağımsız genelleme ölçümü sağlamaz. Etiketli örnek azsa öz-denetimli akustik temsil üzerinde sınırlı sınıflandırma başlığı eğitimi denenebilir; bütün modelin güncellenmesi daha yüksek kapasiteyle birlikte daha fazla aşırı uyum riski getirir. Sözde etiketleme yalnız güvenilir örnek seçimi ve insan denetimli testle kullanılmalıdır; hatalı otomatik transkriptler model hatasını pekiştirebilir.

Değerlendirmede metin normalizasyonu önceden sabitlenir; büyük-küçük harf, sayı yazımı, noktalama ve sözcük ayrımı kuralları TR/EN için eşdeğer ama dile uygun olmalıdır. Kod karışımı, özel ad, bozuk konuşma, telefon kanal bant sınırlaması ve kısa segmentler ayrı hata dilimleri oluşturur. Genel WER değerinin iyileşmesi bu alt kümelerdeki bozulmayı gizleyebilir. Dil tanıma ve konuşma tanıma art arda çalışıyorsa yanlış dil yönlendirmesinin yarattığı hata, doğrudan tanıyıcı hatasından ayrılır. Yeni sistem, sabit test kümesi üzerinde gecikme, bellek ve hata oranı birlikte iyileşmedikçe daha iyi kabul edilmez.

Akustik diziden metin dizisine

Konuşma tanıma, değişken uzunluklu akustik örneklerden dilsel birim dizisi kestirir. Klasik mimarilerde akustik özellikler, durum geçiş modeli, telaffuz ve dil modelinin birlikte çözümlenmesi yaygındır. Uçtan uca yöntemler hizalama ve dizi çözümlemesini farklı kayıp fonksiyonlarıyla öğrenir. CTC hedef dizisiyle kare dizisi arasındaki çoklu geçerli hizalamaları marjinalleştirir; otoregresif kodlayıcı–çözücü yapıları geçmiş çıktı bağlamını kullanır. Akışkan tanımanın çözümleme davranışı çevrim dışı toplu çözümlemeden farklıdır.

Büyük modellerin çıkarımı daima doğru transkripsiyon üretmez. Kodlama hatası, lehçe, aksan, çakışan konuşma, müzik, düşük bant genişliği ve diller arası geçişler yanlış kelime veya uydurulmuş metin oluşturabilir. Konuşma olmadan metin üretilmesi ayrıca test edilmesi gereken tehlikeli bir hata türüdür. Çıktı zamanlarının fiziksel kayıtla ilişkisi zorla hizalama veya güvenilir zaman kestirim prosedürüyle sınanmalıdır.

Değerlendirme ve alan uyumu

Kelime hata oranı WER = (S+D+I)/N ifadesinde yer değiştirme, silme ve ekleme hatalarının referans kelime sayısına oranıdır. Küçük N için WER yüzde 100'ü aşabilir. Karakter hata oranı ve görev açısından önemli sözcüklerde özel hata analizi ek bilgi sağlar. Normalizasyon, noktalama, birleşik sözcükler ve sayıların metne dökülmesi karşılaştırmadan önce tanımlanmalıdır. Eğitim ve test veri kümeleri konuşmacı, kayıt kaynağı ve zaman bakımından ayrılmadığında sızıntı gerçekte olmayan başarı izlenimi yaratır.

Az etiketli diller için özdenetimli ön eğitim ve denetimli görev uyarlaması kullanılabilir; etiketlenmemiş sesin bulunması belirli bir kodlayıcı–çözücü modelin etiketsiz veriyle doğrudan gözetimli ince ayara uygun olduğu anlamına gelmez. Veri artırma yöntemleri anlamı ve transkript zamanlamasını bozmadan uygulanmalıdır.

Ünite 10: Akustik Olay ve Anomali Analizi

Ses anomalisi algılama, normal akustik davranıştan farklılaşan olay veya süreçleri belirlemeyi amaçlar. Mekanik arıza, kırılma sesi, alarm, sürtünme veya olağan dışı çevre sesi bu kapsama girebilir.

Normal ses modeli

Sağlıklı makine veya normal ortam kayıtları Log-Mel spektrogram, MFCC veya öğrenilmiş embedding ile temsil edilebilir. One-class modeller, yoğunluk kestiriciler veya autoencoder'lar yeni örneğe anomali skoru verir.

Bu süreç anomali algılama probleminin akustik bağlama uygulanmış halidir.

Ani ve yavaş değişimler

Cam kırılması gibi olaylar kısa süreli ve impulsif olabilir. Rulman aşınması gibi durumlar ise günler veya haftalar içinde oluşan tayfsal değişimlerle kendini gösterebilir. Bu iki durumda pencere uzunluğu, zaman bağlamı ve karar mantığı farklıdır.

Çalışma rejimi

Makine devri, yük, mikrofon mesafesi ve çevresel gürültü normal dağılımı değiştirir. Bu nedenle akustik modelin çalışma koşullarıyla birlikte değerlendirilmesi gerekir.

Titreşim, sıcaklık veya görüntü gibi ek sensörler zaman eşlemesi doğru olduğunda yanlış alarmı azaltan tamamlayıcı bilgi sağlayabilir.

Olay algılama ve sınıflandırma

Akustik olay tespiti belirli sınıfların hangi aralıklarda ortaya çıktığını, sahne sınıflandırması ise daha uzun bir kaydın genel akustik bağlamını kestirir. Anomali tespiti normal akustik dağılımdan sapmayı ölçer; anomalinin nedeni veya hukuki niteliği doğrudan anlaşılmaz. Ani darbe, sürekli mekanik ses, konuşma ve çevresel gürültü farklı zaman ölçekleri gerektirir.

Nadir olayların tespitinde doğruluk yüzdesi tek başına yanıltıcıdır. Yanlış alarm/gün, olay bazlı precision–recall, tespit gecikmesi ve farklı gürültü koşullarındaki kaçırma oranı birlikte raporlanır. Çalışma koşullarındaki sıcaklık, mesafe, mikrofon yönü ve yeni cihaz türleri dağılım kaymasına neden olabilir.

Akustik Olaylarda Karar ve Alarm Kalibrasyonu

Akustik olay algılama sistemleri sesin çerçeve veya kayıt düzeyindeki sınıflandırılmasından zaman sınırlı olay üretmeye ilerler. Kısa gürültü tepecikleri yanlış tetiklemeyi artırabilir; bu nedenle pencere puanları zaman içinde birleştirilir ve olay açma/kapama eşikleri ayrı seçilir. Ardışık pozitif pencereler tek olaya birleştirildiğinde başlangıç–bitiş kayması ve birbirine yakın olayların birleşmesi ayrıca ölçülür. Arka plan sesinin kayda, cihaz konumuna ve günün saatine göre değişmesi sabit eşiklerin başarımını düşürebilir.

Ölçüm birimi açıkça belirlenmelidir: kare düzeyinde precision ile bir saatte üretilen yanlış alarm sayısı aynı değildir. Uzun sessiz kayıtlar üzerinde düşük yanlış pozitif oranı bile yüksek alarm sayısına dönüşebilir. Geliştirme sırasında seçilen eşiklerin yeni mekân, mikrofon, sıkıştırma ve ses seviyesi koşullarında geçerli olduğu varsayılmaz. Akustik olay tespiti, kişinin duygusu veya niyeti hakkında doğrudan kanıt üretmez; ses işaretinden türetilen sınıf skorları algısal ve bağlamsal yorumdan ayrı tutulur.

Ses tonundan durum çıkarımı

Konuşmadan duygu veya niyet çıkarımı, akustik ve dilsel özelliklerle istatistiksel korelasyonların modellenmesidir; bir kişinin niyeti, dürüstlüğü veya suça ilişkin eylemi ses tonundan kesin olarak çıkarılamaz. Etiketler kültür, konuşma görevi, bağlam ve gözlemci görüşünden etkilenir. Özellikle kritik kararlarda böyle sınıflandırıcılar tek başına kanıt olarak değerlendirilmemelidir.

Ünite 11: Ses Kodlama ve Kayıt İzleri

Kodlama zincirinin analizi

PCM örnekleri, sıkıştırılmış ses akışı ve kapsayıcı dosya farklı katmanlardır. Kayıplı kodlama işitsel maskeleme ve bit tahsisiyle veri hacmini azaltabilir; yeniden kodlama önceki bilgi kaybını geri getirmez. Farklı codec ve bit hızı ayarları ön yankı, bant sınırlaması ve tonal artifakt gibi izler oluşturabilir. Bu izler bazen işlem geçmişi hakkında hipotez kurulmasına yardım eder ancak tek başına kaynağı veya düzenlemeyi kesin biçimde belirlemez.

Yeniden örnekleme sırasında anti-alias filtreleme, kesirli örnek konumları ve gecikme telafisi gerekir. Sayısal sesin ses seviyesi ölçeklenebilir, fakat kırpılarak kaybedilmiş tepe değerleri yalnız matematiksel tahminle geri getirilebilir. Kayıt metadata'sı, cihaz saatleri ve sesin kendisindeki değişimler birbirleriyle tutarlı biçimde incelenmelidir.

Yeniden Kodlamada Zaman ve Frekans İzleri

Kayıt formatı incelemesi kapsayıcı başlık, kodlama çerçevesi, kanal düzeni ve çözülmüş PCM işaretinin birbirinden ayrılmasıyla yürütülür. Aynı süreyi belirten iki dosya farklı sayıda kodlanmış çerçeve içerebilir; codec gecikmesi, örnek doldurma ve sonlandırma alanları dikkate alınmadan dosya sınırından kesme yapılması zaman hatasına neden olabilir. Yeniden kodlamada önceden kaybedilen yüksek frekans bilgisi geri gelmez; ardışık kayıplı işlemler yeni artifaktlar oluşturabilir fakat her artifaktın tekil kaynağı tanımlanamayabilir.

Karşılaştırma, dosyaların tam özetleri ve çözülmüş örneklerin ayrı özetleriyle yapılabilir; birbirinden farklı bit dizileri aynı veya çok yakın duyulur içerik taşıyabilir. Örnek hizalaması, kanal değişimi, kazanç ve yeniden örnekleme farkları denetlenmeden dalga şekillerinin doğrudan çıkarılması yanlış süreksizlik gösterebilir. Bu inceleme işlemleri özgün ses verisine yazılmaz; türetilmiş karşılaştırma işareti ve uygulanan dönüşümler kayıt altında tutulur.

Bütünlük ve türetilmiş kayıt

Özgün dosya değiştirilmeden saklanır; çalışma kopyaları ayrı özetlerle tanımlanır. Dosya üstverisinin bulunmaması manipülasyon kanıtı değildir, üstverinin tutarlı görünmesi de özgünlüğü kesinleştirmez. Segment oluşturulması, kanal ayırma, normalize etme veya geliştirme işlemlerinin kaynak zaman aralıklarına karşılıkları rapora eklenir. Farklı kanalları tek kanala indirgemek konuşmacı ve konum ipuçlarını kalıcı biçimde kaybettirebilir.

Ünite 12: Ses Özgünlüğü ve Manipülasyon Analizi

Düzenleme ve yeniden işleme izleri

Kesme, ekleme, zaman ölçeği değiştirme, ton kaydırma, yeniden örnekleme ve farklı kayıtların birleştirilmesi sınır süreksizlikleri veya tayfsal uyumsuzluklar oluşturabilir. Ancak meşru gürültü azaltma, codec geçişi, ağ kaybı veya otomatik kazanç da benzer bulgular doğurabilir. Sinyalde süreksizlik gözlenmesi, bunun kasıtlı manipülasyondan kaynaklandığını kanıtlamaz; kayıt zincirine ilişkin alternatif açıklamalar araştırılır.

Sentetik konuşma ve ses taklit sistemleri doğal konuşmaya yakın akustik yapılar oluşturabilir. Dedektör başarımı eğitimde görülmeyen üretim yöntemleri, codec ve ortam koşulları altında düşebilir. Bir modelin verdiği yüksek sahtelik skoru hukuki kesinlik veya evrensel olasılık değeri değildir. Kayıt kökeni ve bağımsız doğrulama, yalnız model sınıflandırmasına göre önceliklidir.

Özgünlük Analizinde Alternatif İşlem Zincirleri

Şüpheli bir kesme veya birleştirme noktasının iki tarafında enerji ve spektrumun değişmesi yalnız bir gözlemdir. Aynı değişim konuşmacının yön değiştirmesinden, otomatik kazanç kontrolünden, paket kaybından veya codec çerçeve sınırından kaynaklanabilir. İnceleme önce kayıt biçimini ve zaman damgalarını saptar; sonra aday sınır çevresinde tayfsal süreklilik, gürültü tabanı, kanal korelasyonu ve varsa elektrik şebekesi paraziti gibi bağımsız izler değerlendirir. Tek bir iz türü üzerinden kesin hüküm kurulmaz.

Karşılaştırma deneyinde aynı cihaz ve kodlama koşulları mümkün olduğunca korunarak kontrollü kesme, yeniden kodlama ve değişmemiş referans örnekleri oluşturulur. Değerlendirme, yöntem seçiminin yapıldığı veriden bağımsız tutulur. Sentetik konuşma dedektörleri için daha önce görülmemiş üretim, mikrofon ve codec zincirleri içeren test kümeleri gerekir; bir skoru gerçek sahtelik olasılığı olarak sunmak uygun kalibrasyon ve popülasyon tanımı olmadan geçersizdir. Sonuç, kayıtta ölçülen belirti ile buna bağlanan hipotez düzeyini açıkça ayırır.

Bilimsel karşılaştırma

Manipülasyon incelemesinde aynı işleme zincirinden gelen gerçek örneklerle, farklı değişiklik türlerini içeren karşılaştırma verisi oluşturulur. Parametreler, karar eşikleri ve yanlış olumlu oranları test öncesinde tanımlanmalıdır. Bilinmeyen süreçler için açık dünya sınırları belirtilir. Sonuçlar gözlenen akustik bulgular ile yorum düzeyini ayıracak biçimde raporlanır.

Ünite 13: Adli Ses İncelemesi ve Raporlama

Delil zinciri ve ölçüm geçerliği

Adli ses çalışmasında özgün kayıt, onu üreten cihaz ve kayıt zinciriyle ilgili eldeki bilgiler korunur. Dosya özeti örneklerin değiştirilmediğini sınayabilir; konuşmanın fiziksel ortamda hangi şartlarda gerçekleştiğini tek başına kanıtlamaz. Kopyalama, kanal ayırma, dönüştürme, dinleme ve iyileştirme adımlarının girdi–çıktı ilişkisi izlenebilir olmalıdır. Analizde hangi kanalda hangi zaman aralığının incelendiği kesin olarak belirtilir.

Kayıt anlaşılırlığının artırılması, sesin fiziksel doğruluğunu garanti etmez. Bir sözcüğün duyulduğuna ilişkin kanaat bağımsız dinleme ve alternatif çözümlemelerle değerlendirilir; bilinmeyen sözcük otomatik olarak en olası transkripsiyonla doldurulmaz. Gürültü azaltma yöntemi delilde bulunmayan ses bileşeni üretme potansiyeli taşıyorsa bu sınır raporlanır.

Hipotez, olabilirlik ve sınırlamalar

Konuşmacı karşılaştırması, gözlenen akustik bulguların rakip hipotezler altında ne ölçüde beklendiğini ele alabilir. Olabilirlik oranı LR = P(E | H₁) / P(E | H₂) biçiminde tanımlanır; bu oran tek başına hipotezin sonsal olasılığı değildir. Uygun referans popülasyonu, kayıt koşulları, kalibrasyon ve ölçüm belirsizliği yoksa sayısal bir LR üretimi bilimsel olarak savunulamayabilir. Uzman raporu yöntemlerin doğrulanmış kapsamını, olası hata kaynaklarını ve desteklenmeyen çıkarımları açıkça belirtir.

Ses Delilinde İşlem Kaydı ve Karşılaştırılabilirlik

Adli işleme hattında dosyanın edinildiği biçim, bit düzeyinde özeti, kaynağı, erişim zinciri ve özgün kanalları korunur. İşitilebilirliği artırmaya yönelik tüm işlemler ayrı çalışma kopyalarında yapılır; filtre, kazanç, örnekleme dönüşümü ve segment sınırları yeniden üretilebilir parametrelerle kaydedilir. Ham kayıttaki belirsiz hecenin türetilmiş kayıtta belirginleşmesi, tek başına yeni fonetik bilginin keşfedildiği anlamına gelmez; yöntem kaynak işarette bulunmayan örüntüyü güçlendirmiş olabilir.

Konuşmacı karşılaştırmasında alternatif hipotezler, karşılaştırılabilir kayıt koşulları ve ilgili popülasyon açıkça tanımlanmadan benzerlik skoru delil gücüne dönüştürülemez. Kısa konuşma süresi, kanal değişikliği ve gürültü, ölçümün değişkenliğini artırır. Rapor gözlemi, uygulanan yöntemi, validasyon kapsamını, hata dağılımını ve yorumun sınırlarını ayırır. Aynı analist tarafından tekrarlanabilen sonuç, farklı analistler veya farklı cihazlar arasında geçerlik kanıtının yerine geçmez.

Kayıtların bütünlük göstergeleri ve alternatif nedenler

Elektrik şebekesinden kaynaklanan dar bantlı girişim, belirli kayıt koşullarında zaman içinde küçük frekans dalgalanmaları taşıyabilir. Bu yapı bazen kayıtların zaman çizgisiyle karşılaştırılmasında yardımcıdır; ancak her ses kaydında bulunmaz, ortamın elektrik altyapısından etkilenebilir ve yeniden örnekleme ile sıkıştırma sonrasında değişebilir. Şebeke kaynaklı sinyal görülmemesi, kaydın sahteliğinin kanıtı değildir. Kısa örneklerde yeterli çevrim bulunmadığından zaman kestiriminin belirsizliği büyür.

Ani tayfsal değişim, kodlama çerçevesi sınırı, mikrofon hareketi, otomatik kazanç geçişi veya gerçek akustik olay nedeniyle oluşabilir. Adli raporda önce gözlenen değişiklik tanımlanır; ardından onu açıklayabilecek fiziksel ve sayısal süreçler karşılaştırılır. Bulgudan doğrudan kasıt veya kesin olay sıralaması çıkarılmaz. Delil kopyalarında yapılan her işlem için kaynak dosya, örnek aralığı, parametreler ve sonuç özetleri korunur.

Ünite 14: Ses İşleme Sistemlerinde Başarım ve Geçerleme

Kuyruk, Little Yasası ve Görünmeyen Gecikme

Kararlı bir sistemde Little yasası:

L = λW

ilişkisini kurar.

Burada L sistemdeki ortalama iş sayısı, λ geliş hızı ve W sistemde geçirilen ortalama süredir. Bu ifade tek başına performans modeli değildir; fakat kuyruk davranışını düşünmek için güçlü bir kontrol sağlar.

Örneğin geliş hızı yükselirken worker kapasitesi aynı kalıyorsa kuyruk derinliğinin ve bekleme süresinin birlikte büyümesi beklenir.

En kritik sınır:

uzun dönem geliş hızı > uzun dönem servis kapasitesi

durumudur. Bu koşul sürdükçe hiçbir queue boyutu sistemi kurtarmaz; yalnız doygunluğu geciktirir.

Kuyruk teorisi, geri basınç ve üst yüzdelik gecikme bu nedenle ASR servisinin modelden bağımsız temel kavramlarıdır.

Backpressure Neden Gerekir?

Kuyruk sınırsız bırakıldığında sistem bir süre "istek kaybetmiyor" gibi görünebilir. Gerçekte:

• bellek kullanımı artar,
• eski işler giderek yaşlanır,
• tail latency büyür,
• timeout alan üst sistem tekrar deneme üretmeye başlayabilir.

Bu durumda kapasite problemi retry fırtınasına dönüşebilir.

Daha güvenli tasarımda kuyruk sınırlandırılır ve doygunluk davranışı açıkça seçilir. İhtiyaca göre üreticinin bekletilmesi, yeni işin reddedilmesi veya düşük öncelikli yükün bırakılması değerlendirilebilir.

Backpressure kapasite üretmez. Sistemin kapasitesinin üstünde yük geldiğini dürüst biçimde görünür hale getirir.

Worker Sayısı Nasıl Belirlenir?

Worker sayısını CPU çekirdeği veya GPU belleği izin verdiği kadar artırmak güvenilir bir kapasite stratejisi değildir.

Her worker:

• model belleği,
• çalışma alanı,
• input/output buffer,
• thread,
• queue

maliyeti oluşturabilir.

Daha fazla worker ilk aşamada throughput'u artırırken bir noktadan sonra bellek baskısı, context switching veya GPU scheduling nedeniyle kazanç azalabilir.

Doğru nokta deneysel olarak bulunmalıdır. Ölçüm sırasında worker sayısı dışındaki değişkenler sabit tutulmalı ve her adımda:

• throughput,
• p50/p95/p99 latency,
• queue depth,
• CPU/GPU kullanımı,
• bellek,
• hata/timeout

birlikte izlenmelidir.

Ortalama Gecikme Yeterli Değildir

Gerçek zamanlı sistemlerde kullanıcı deneyimini çoğu zaman ortalama değil tail latency bozar.

Örneğin:

p50 = 400 ms
p95 = 900 ms
p99 = 4.5 s

olan sistemin ortalaması makul görünebilir; fakat her yüz işten birinde birkaç saniyelik gecikme oluşması gerçek kullanımda belirgin olabilir.

Bu nedenle performans raporunda yalnız ortalama ve maksimum vermek yerine percentile dağılımı ve ilgili örnek sayısı gösterilmelidir.

Deterministik Zaman Ekseni

Ses işleme pipeline'ında zaman bilgisini her katmanda yeniden kayan noktalı saniyeye dönüştürmek, uzun dosyalarda küçük yuvarlama farklarını biriktirebilir.

Mümkün olduğunda örnek konumu veya integer zaman tabanı ana referans olarak tutulmalı; milisaniye/saniye gösterimi sunum katmanında üretilmelidir.

VAD segmenti, ASR segmenti ve transcript timestamp'leri farklı zaman eksenlerine sahipse dönüştürme noktaları açık olmalıdır. Özellikle stereo kanallar veya resampling içeren sistemlerde bu ayrım önem kazanır.

Hata ve Retry Kapasite Modelinin Parçasıdır

Inference sırasında geçici hata oluştuğunda işi tekrar kuyruğa koymak kolay görünür. Fakat doygunluk nedeniyle oluşan timeout'u tekrar denemek yükü daha da artırabilir.

Retry kararı:

• hatanın geçici olup olmadığı,
• işin idempotentliği,
• toplam zaman bütçesi,
• kuyruk yaşı,
• kalan kullanıcı SLA'sı

ile birlikte verilmelidir.

Bu konu Kritik Sistemlerde Güvenli Retry Tasarımı ile doğrudan ilişkilidir.

Gerçek zamanlı çalışma ve kuyruk modeli

Gerçek zaman katsayısı RTF = t_işleme/t_ses olarak tanımlanır; düşük RTF bir modelin ses süresinden hızlı çalıştığını gösterir, ancak ilk yanıt gecikmesini veya kuyruk beklemesini ölçmez. Toplam gecikme segment toplama, konuşma etkinliği kararı, kuyruk, çıkarım ve sonuç birleştirme aşamalarına ayrılır. Sürekli trafik altında servis kapasitesi geliş hızını karşılamadığında birikim oluşur. Eşzamanlılık sınırları işlemci, bellek ve ses akışı uzunluğu dikkate alınarak seçilmelidir.

Örnek bir kayıt için 30 saniye sesin 3 saniyede işlenmesi RTF = 0,1 verir; 20 saniyelik segment tamamlanması ve 5 saniyelik kuyruk beklemesi varsa kullanıcı gecikmesi aynı büyüklükte değildir. Bu ayrım kapasite planlamasında model hızının tek başına kullanılmasını önler.

Deney tasarımı ve güvenilirlik

Karşılaştırma deneylerinde aynı ses kümesi, aynı ön işleme ve aynı puanlama protokolü kullanılmalıdır. WER, DER, EER, SNR ve kaynak ayrıştırma ölçütleri farklı görevleri değerlendirir; biri diğerinin yerine geçmez. Sistem testleri sessizlik, örtüşme, bozuk dosya, düşük bant genişliği, saat kayması, uzun kayıt, ani trafik artışı ve başarısızlık sonrası toparlanmayı kapsamalıdır. Ortalama işlem süresiyle birlikte yüksek yüzdelik gecikme, bellek tepe kullanımı, hata dağılımı ve veri kaybı incelenir.

Üretim verisinin özgünlüğü ve mahremiyeti korunurken test verisinin etiketleri, sürümü, işlem parametreleri ve sonuçları yeniden üretilebilir biçimde kaydedilir. Çalışma zamanı optimizasyonu bir bilimsel ölçümün semantiğini değiştirmemeli; hızlanma elde edilirken zaman damgalarının ve akustik bulguların bütünlüğü korunmalıdır.

Çok Akışlı Ses İşlemede Ölçülebilir Kapasite

Gerçek zamanlı ses hattında hizmet süresi ses süresinden kısa olsa bile patlama halinde kuyruk birikebilir. Bir işin CPU/GPU çıkarım süresi, dosya okuma, çözme, ön işleme, sonuç yazma ve veritabanına teslim sürelerinden ayrıştırılır. Toplam istek gelişi λ, ortalama servis süresi E[S] ve c eşzamanlı çalışan için yaklaşık iş yükü ρ = λE[S]/c ile ifade edilir; bu gösterim bağımsız, aynı kapasiteli çalışanlar ve uygun kuyruk varsayımları altında yorumlanır. ρ < 1 uzun dönem kararlılık için gerekli bir kapasite işaretidir ancak patlama sırasında gecikmenin kabul edilebilir kaldığını garanti etmez.

Performans deneyi kısa ve uzun ses, farklı codec, çok kanallı kayıt, bozuk dosya ve eşzamanlı istek profillerini içermelidir. RTF yalnız modelin çalışma katsayısını verir; uçtan uca dosya gecikmesi, bekleme süresi ve kalıcı kayıt süresi ayrıca raporlanır. Kuyruk sınırının aşılması, tekrar deneme ve hatalı giriş politikasının sistem yükünü nasıl değiştirdiği hesaplanır. Zaman damgaları dosya işleme sırasından değil, kaynak örnek ofsetlerinden türetilirse paralel işleme ve yeniden deneme sırasında konuşma zaman ekseni korunur.

Kaynakça

• Speech and Audio Signal Processing: Processing and Perception of Speech and Music. Second Edition. 2011.
• Theory and Applications of Digital Speech Processing. 2011.
• Principles of Forensic Audio Analysis. 2018.
• Digital Audio Forensics Fundamentals: From Capture to Courtroom. 2020.