Ses Bölütleme
VAD, konuşmacı değişimi, akustik olay bölütleme ve zamansal kararlılık parametrelerinin uzun ses kayıtlarına etkisi.
Ses bölütleme, sürekli bir ses akışını konuşma, sessizlik, konuşmacı değişimi veya akustik olay gibi anlamlı zaman aralıklarına ayırır. Bölüt sınırları sonraki tanıma ve sınıflandırma aşamalarının giriş dağılımını doğrudan belirler.
Konuşma etkinliği algılama
Voice Activity Detection, kısa zaman aralıklarında konuşma olup olmadığını kestirir. Enerji tabanlı yöntemler düşük maliyetlidir; öğrenilmiş modeller değişken gürültü koşullarında daha dayanıklı olabilir.
Kare düzeyindeki kararlar minimum konuşma süresi, sessizlik toleransı ve hangover gibi zaman parametreleriyle yumuşatılır.
Konuşmacı ve olay sınırları
Konuşmacı değişimi ardışık ses parçalarının temsil farklarından bulunabilir. Konuşmacı ayrıştırma zincirinde bölütler embedding'e dönüştürülür ve kümelenir. Örtüşen konuşmada aynı zaman aralığında birden fazla konuşmacı bulunabilir.
Akustik olay bölütlemede hem sınıf hem sınır zamanı önemlidir. Olay tabanlı F1 ve zaman toleransı, yalnız kare doğruluğundan daha açıklayıcı olabilir.
Sistem etkisi
Kare boyutu, overlap ve tamponlama gecikmeyi ve hesaplama maliyetini belirler. Çok kısa segmentler ASR veya speaker modellerine yeterli bağlam sağlamaz; çok uzun segmentler farklı olayları birleştirebilir.
Bölütleme bu nedenle model öncesi küçük bir adım değil, tüm ses işleme zincirinin davranışını belirleyen temel katmandır.
Üst konu: Görüntü ve Ses İşleme
Kaynakça
- Alan V. Oppenheim; Ronald W. Schafer. Discrete-Time Signal Processing, Third Edition. Pearson, 2010.
- Lawrence R. Rabiner; Ronald W. Schafer. Theory and Applications of Digital Speech Processing. Pearson, 2011.
