Görüntü ve Ses İşleme

Sayısal görüntü ve ses işlemenin algılayıcıdan özellik çıkarımına, öğrenen sistemlerden gerçek zamanlı performansa uzanan ortak mühendislik temelleri.

Görüntü ve ses işleme, fiziksel dünyadan alınan işaretlerin sayısal temsillere dönüştürülmesi ve bu temsiller üzerinden anlamlı bilgi çıkarılmasıyla ilgilenir. Kamera uzamsal örnekler, mikrofon ise zamana bağlı örnekler üretir. İki alanın veri biçimi farklı olsa da örnekleme, nicemleme, gürültü, filtreleme, frekans çözümlemesi ve öznitelik çıkarımı gibi temel kavramları ortaktır.

Sayısal işaret zinciri

Bir işleme hattı algılayıcı, analog ön uç, sayısallaştırma, ön işleme, temsil, model ve karar aşamalarından oluşabilir. Girdi kalitesi sonraki katmanların üst sınırını belirlediği için yalnız model başarımı üzerinden değerlendirme yeterli değildir.

Örnekleme teoremi zaman veya uzay alanındaki sürekli işaretlerin ayrık örneklerle temsil sınırını açıklar. Fourier dönüşümü ise işareti frekans bileşenleri bakımından incelemeyi sağlar. Görüntüde kenarlar ve dokular, seste formantlar ve tayfsal enerji dağılımları bu dönüşümlerle daha belirgin hale gelebilir.

Klasik ve öğrenen yöntemler

Klasik yöntemler filtreleme, eşikleme, morfoloji, korelasyon ve geometrik dönüşümler gibi açık kurallara dayanır. Öğrenen sistemler ise temsil ve karar sınırlarını veriden çıkarır. Uygulamada iki yaklaşım çoğu zaman aynı zincirde birlikte bulunur. Örneğin bir görüntü modeli yeniden boyutlandırma ve normalizasyonla, bir konuşma modeli ise VAD ve log-Mel öznitelikleriyle beslenebilir.

Sistem ölçütleri

Doğruluk yanında gecikme, throughput, bellek kullanımı, model boyutu, enerji tüketimi ve veri hareketi de önemlidir. Çevrim dışı çalışan adli analiz ile etkileşimli gerçek zaman sistemi aynı optimizasyon ölçütlerine sahip değildir.

Çok kipli öğrenme, görüntü, ses ve metin gibi farklı veri türlerini ortak veya ilişkili temsiller içinde birleştirir. Bu yaklaşım, tek bir algılayıcının eksik kaldığı durumlarda tamamlayıcı bilgi sağlayabilir.

Görüntü ve ses işleme bu nedenle yalnız algoritma seçimi değil, algılayıcıdan son karara kadar uzanan bütüncül bir bilgi işleme problemidir.

Konu Haritası

Görüntü ve ses işlemenin bütün alt başlıklarını tek bir uzun metne sıkıştırmıyorum. Optik ve kayıt zincirinden öznitelik çıkarımı, onarma, bölütleme, tanıma ve adli kullanıma kadar ayrılan notlar kendi sayfalarında duruyor; aşağıdaki liste bu çalışmalar arasındaki yolu gösteriyor.

Görüntü

Ses

Kesişim ve uygulama

Akademik köken

Bu konu kümesinin akademik arka planlarından biri, Nursel Yalçın ile birlikte hazırladığımız ve 2022'de Yapay Zeka - Kuramdan Uygulamaya kitabında yayımlanan Görüntü ve Ses İşleme bölümüdür. Web üzerindeki maddeler kitap bölümünün kopyası değildir; konuları ayrı referans sayfalarına ayırarak güncel teknik bağlantılar ve uygulama bağlamlarıyla genişletir.

Yeniden Örnekleme, Geometrik Dönüşüm ve Enterpolasyon

Görüntü büyütme, küçültme, döndürme, perspektif düzeltme ve geometrik kayıt işlemlerinde hedef piksel çoğu zaman kaynak görüntüde tam sayı koordinatına karşılık gelmez. Bu nedenle geometrik dönüşüm iki ayrı problemi içerir: koordinatın nereden örnekleneceğini bulmak ve o konumdaki değeri enterpolasyonla kestirmek.

Forward mapping kaynak pikselleri hedefe taşır; bazı hedef pikseller boş kalabilir veya birden fazla kaynak aynı hedefe düşebilir. Bu yüzden raster görüntülerde çoğu zaman inverse mapping tercih edilir: her hedef pikselin kaynak görüntüdeki koordinatı bulunur ve örnek değeri oradan hesaplanır.

Temel yaklaşımlar:

nearest-neighbor: en düşük maliyetlidir; kategorik etiketlerde değer üretmediği için yararlıdır, fakat bloklu görünüm oluşturabilir.
bilinear: dört komşudan iki eksenli doğrusal ağırlıklandırma yapar; daha yumuşaktır fakat keskinliği azaltabilir.
bicubic: daha geniş komşulukla daha düzgün geçiş üretir; maliyeti ve olası overshoot/ringing etkisi daha yüksektir.

Büyütmede enterpolasyon yeni gerçek ayrıntı üretmez; mevcut örnekler arasında bir yeniden yapılandırma varsayımı uygular. Küçültmede ise yalnız enterpolasyon yetmez. Yeni örnekleme hızının taşıyamayacağı yüksek uzamsal frekanslar önce uygun alçak geçiren süzgeçle bastırılmazsa aliasing oluşabilir.

Zoom kalitesi bu nedenle yalnız kullanılan kernel adıyla değerlendirilmez. Kenar koruma, ringing, aliasing, renk uzayı, alpha kanalı, tekrar tekrar yeniden örnekleme ve işlem maliyeti birlikte değerlendirilmelidir. Enterpolasyonun genel matematiği Nümerik Analizde; örnekleme sınırı Sinyaller ve Sistemlerde ele alınır.

Konvolüsyon, Frekans Alanı ve Öğrenen Filtreler

Görüntü ve ses işlemede konvolüsyon aynı matematiksel yapının iki boyutlu ve tek boyutlu örnekleridir. Sabit bir çekirdek, yerel komşuluktaki örnekleri ağırlıklı biçimde birleştirir. Blur, sharpen, kenar çıkarımı ve FIR süzgeçler bu çerçevede okunabilir.

Frekans alanında uzaysal/zamansal konvolüsyon çarpıma dönüşür. Büyük çekirdeklerde FFT tabanlı yöntemler avantajlı olabilir; küçük çekirdeklerde doğrudan konvolüsyon çoğu zaman daha ucuzdur. Sınır koşulu seçimi de sonucun parçasıdır: zero padding, reflection ve circular varsayımlar farklı artefaktlar üretir.

CNN katmanları da yerel ağırlıklı işlemler kullanır, ancak klasik filtrede çekirdek tasarımcı tarafından belirlenirken öğrenen sistemde ağırlıklar veri ve amaç fonksiyonundan öğrenilir. Bu benzerlik iki yaklaşımı eşitlemez. Klasik sinyal işleme fiziksel ve spektral varsayımları açık tutar; öğrenen filtre temsil gücünü veri üzerinden genişletir.

Kaynakça

Muhammet Ali Köker; Nursel Yalçın. Görüntü ve Ses İşleme. Nobel Yayınevi, 2022. Kaynak

Yapay Zeka - Kuramdan Uygulamaya. Nobel Akademik Yayıncılık, 2022. Kaynak