Görüntü ve Ses İşleme

Görüntü ve ses işleme, fiziksel dünyadan alınan işaretlerin sayısal temsillere dönüştürülmesi ve bu temsiller üzerinden anlamlı bilgi çıkarılmasıyla ilgilenir. Kamera uzamsal örnekler, mikrofon ise zamana bağlı örnekler üretir. İki alanın veri biçimi farklı olsa da örnekleme, nicemleme, gürültü, filtreleme, frekans çözümlemesi ve öznitelik çıkarımı gibi temel kavramları ortaktır.

Sayısal işaret zinciri

Bir işleme hattı algılayıcı, analog ön uç, sayısallaştırma, ön işleme, temsil, model ve karar aşamalarından oluşabilir. Girdi kalitesi sonraki katmanların üst sınırını belirlediği için yalnız model başarımı üzerinden değerlendirme yeterli değildir.

Örnekleme teoremi zaman veya uzay alanındaki sürekli işaretlerin ayrık örneklerle temsil sınırını açıklar. Fourier dönüşümü ise işareti frekans bileşenleri bakımından incelemeyi sağlar. Görüntüde kenarlar ve dokular, seste formantlar ve tayfsal enerji dağılımları bu dönüşümlerle daha belirgin hale gelebilir.

Klasik ve öğrenen yöntemler

Klasik yöntemler filtreleme, eşikleme, morfoloji, korelasyon ve geometrik dönüşümler gibi açık kurallara dayanır. Öğrenen sistemler ise temsil ve karar sınırlarını veriden çıkarır. Uygulamada iki yaklaşım çoğu zaman aynı zincirde birlikte bulunur. Örneğin bir görüntü modeli yeniden boyutlandırma ve normalizasyonla, bir konuşma modeli ise VAD ve log-Mel öznitelikleriyle beslenebilir.

Sistem ölçütleri

Doğruluk yanında gecikme, throughput, bellek kullanımı, model boyutu, enerji tüketimi ve veri hareketi de önemlidir. Çevrim dışı çalışan adli analiz ile etkileşimli gerçek zaman sistemi aynı optimizasyon ölçütlerine sahip değildir.

Çok kipli öğrenme, görüntü, ses ve metin gibi farklı veri türlerini ortak veya ilişkili temsiller içinde birleştirir. Bu yaklaşım, tek bir algılayıcının eksik kaldığı durumlarda tamamlayıcı bilgi sağlayabilir.

Görüntü ve ses işleme bu nedenle yalnız algoritma seçimi değil, algılayıcıdan son karara kadar uzanan bütüncül bir bilgi işleme problemidir.