Görüntü İşleme ve Bilgisayarlı Görü Mühendisliği

Sayısal görüntü işleme, fiziksel bir sahneden elde edilen ışınımın ayrık veriye dönüştürülmesi, bu verinin dönüştürülmesi ve ölçülebilir özelliklerinin çıkarılmasıyla ilgilenir. Bilgisayarlı görü ise görüntü gözlemlerinden nesne, hareket, geometri ve sahne durumuna ilişkin kestirimler üretir. Her iki disiplinin ortak mühendislik sorunu, gözlemden çıkarılan bilginin hangi varsayımlar altında geçerli olduğunu belirlemektir. Algılayıcı fiziği, sayısal işaret işleme, olasılıksal kestirim, optimizasyon ve bilgisayar mimarisi bu nedenle birbirinden ayrı düşünülemez.

Görüntünün fiziksel ölçüm niteliği ile algoritmanın ürettiği tahmin birbirinden ayrılmalıdır. Bir pikselin yeniden örneklenmesi, eksik ayrıntının öğrenilmiş bir modelle tamamlanması veya görüntüde kişi tanınması aynı tür bilgi üretmez. İlkinde sayısal dönüşüm, ikincisinde önsel bilgiye dayanan çıkarım, üçüncüsünde belirsizliği olan istatistiksel karar söz konusudur.

Ünite 1: Görüntünün Fiziksel ve Sayısal Temelleri

Sayısal görüntünün temeli optik, elektromanyetizma, geometri ve algılayıcı elektroniğine dayanır. Bir nesneden gelen veya yansıyan ışık mercek sistemi üzerinden sensöre ulaşır; sensör bu enerjiyi elektriksel büyüklüklere, sayısallaştırıcı ise piksel değerlerine dönüştürür.

Sayısal Görüntü, Piksel ve Çözünürlük

Sayısal görüntü, uzamsal olarak örneklenmiş ve nicemlenmiş değerlerden oluşur. En küçük örnek konumuna piksel denir. Piksel tek başına fiziksel bir nokta değildir; sensör elemanı, optik yayılım, örnekleme geometrisi ve sonraki sayısal işlemlerin birlikte oluşturduğu ölçüm sonucudur.

Gri seviye görüntüde piksel çoğunlukla tek bir parlaklık değeriyle; renkli görüntüde ise birden çok kanal değeriyle temsil edilir. Kanal başına b bit kullanıldığında teorik olarak 2^b farklı sayısal seviye gösterilebilir. Bit derinliği arttıkça nicemleme adımları küçülür; bunun karşılığında veri hacmi büyür.

Uzamsal çözünürlük, görüntünün yatay ve düşey örnek sayısıyla ilişkilidir. Ancak daha fazla piksel tek başına daha fazla gerçek ayrıntı anlamına gelmez. Merceğin ayırma gücü, odak, hareket bulanıklığı, sensör boyutu, gürültü ve örnekleme koşulları fiziksel ayrıntının üst sınırını belirler.

Bu ayrım özellikle adli görüntü incelemesinde önemlidir. Bir görüntüyü sonradan büyütmek yeni sensör ölçümü üretmez; ara değerleme yalnız mevcut örneklerden yeni piksel değerleri hesaplar.

Örnekleme ve Nicemleme

Sürekli optik alanın sayısal görüntüye dönüşmesi iki ayrı ayrıklaştırma içerir. Uzamsal örnekleme, sahnenin hangi konumlarda ölçüleceğini; nicemleme ise ölçülen analog büyüklüğün hangi sayısal seviyeye atanacağını belirler.

Yetersiz uzamsal örnekleme ince desenlerde aliasing oluşturabilir. Yetersiz nicemleme ise düzgün ton geçişlerinde basamaklanma ve ayrıntı kaybı üretir. Kamera hattında optik düşük geçiren davranış, sensör örnekleme yapısı ve sayısal işleme birlikte düşünülmelidir.

Bu nedenle “yüksek çözünürlük”, piksel sayısı, bit derinliği ve gerçek optik ayrıntı gibi farklı özelliklerin yerine kullanılan tek bir kalite sözcüğü değildir.

Işık ve renk

Görünür ışık elektromanyetik tayfın dar bir bölümüdür. Kameranın kaydettiği değer ışık kaynağının tayfına, yüzey yansıtıcılığına, mercek geçirgenliğine ve sensör duyarlılığına bağlıdır. RGB, görüntünün edinimi ve gösterimi için yaygın bir temsildir; YCbCr parlaklık ile renk bileşenlerini ayırır, Lab ise algısal uzaklıkların önemli olduğu işlemlerde yararlı olabilir.

Renk uzayı seçimi yalnız görselleştirme tercihi değildir; eşikleme, sıkıştırma, renk sabitliği ve benzerlik ölçümleri üzerinde doğrudan etki oluşturur.

Optik sistem

Odak uzaklığı, diyafram, pozlama süresi ve sensör boyutu görüş açısını, alan derinliğini, hareket bulanıklığını ve gürültü düzeyini birlikte belirler. Mercek bozulmaları ölçülen koordinatları değiştirir. Kamera kalibrasyonu, iç parametrelerin ve geometrik bozulmaların kestirilmesini sağlayarak piksel koordinatlarını fiziksel geometriyle ilişkilendirir.

İnsan ve makine görmesi

İnsan görme sistemi bağlama uyum sağlar ve eksik bilgiden yapı çıkarabilir. Kamera ise dinamik aralık, pozlama ve tayfsal duyarlılık sınırlarıyla çalışır. Buna karşılık kızılötesi, termal veya yüksek hızlı kameralar insan gözünün algılayamadığı bölgeleri ölçebilir.

Görüntü işleme açısından piksel, sahnenin kendisi değil; optik, elektronik ve sayısal dönüşümlerin sonucudur. Ölçüm zincirinin bilinmesi özellikle metrologi, bilgisayarlı görü ve adli görüntü incelemesinde temel öneme sahiptir.

Işınımdan sayısal ölçüme

Bir görüntü algılayıcısının kaydı, sahneden yayılan veya yansıyan ışınımın optik sistem boyunca taşınıp duyarlı yüzeyde elektriksel işarete dönüştürülmesinin sonucudur. Belirli bir pikselde ölçülen değer yalnız nesnenin rengine değil, aydınlatma tayfına, yüzeyin yansıtımına, optik geçirgenliğe, pozlama süresine ve algılayıcının tayfsal duyarlılığına bağlıdır. Bu nedenle kamera çıktısı sahnenin değişmez bir temsili değildir. Işınım modelinde gözlenen yoğunluk yaklaşık olarak aydınlatma ve yansıtım bileşenlerinin çarpımıyla ifade edilebilir; gölgelenme ve doku ayrımı bu bileşenler karıştığında zorlaşır.

İdeal iğne deliği modelinde üç boyutlu bir noktanın görüntü düzlemine izdüşümü, odak uzaklığıyla ölçeklenen perspektif bölmeye dayanır. Gerçek optik sistemlerde radyal ve teğetsel bozulma, odak dışı bulanıklık, alan derinliği ve kırınım bu idealleştirmeyi sınırlar. Pozlama kısaldığında hareket bulanıklığı azalabilir fakat toplanan foton sayısı da azalarak gürültü oranını yükseltebilir. Daha yüksek duyarlılık ayarı, ölçülen foton bilgisini artırmak yerine elektronik kazancı değiştirebilir.

Algılayıcı Kalibrasyonu ve Ölçülebilir Görüntü

Bir görüntünün piksel değeri doğrudan sahnenin yansıtma katsayısı değildir. Pozlama süresi, algılayıcı kazancı, karanlık akım, optik geçirgenlik ve aydınlatma birlikte ölçüme etki eder. Sabit pozlamalı bir deneyde ışık kapalıyken alınan karanlık kare, elektronik ofset ve sıcak piksel davranışının; düzgün aydınlatılmış düz bir yüzeyin kaydı ise piksel duyarlılık farklarının belirlenmesini sağlar. Basitleştirilmiş düzeltme I_d = (I_ham − D) / max(F − D, ε) biçimindedir; D karanlık referansı, F düz alan referansı, ε sıfıra bölünmeyi önleyen ve fiziksel ölçekle tutarlı küçük eşiği temsil eder. Doğrusal olmayan kamera ton eğrisi uygulanmış veride bu işlem doğrudan geçerli değildir.

Kalibrasyon iş akışında önce ham verinin bit derinliği, siyah seviyesi, doygunluk sınırı ve renk dönüşümü tespit edilir. Ardından farklı pozlamalarda karanlık/düz alan referansları alınır; bozuk pikseller saptanır ve düzeltilmiş kareler referanstan bağımsız örneklerle sınanır. Piksel değerlerinin kesildiği doygun bölgede kayıp ayrıntı geri kazanılamaz. Ölçüm, doğrulama ve delil amaçları için ham dosya korunur; doğrusal ölçüm verisi ile görüntülenmek üzere ton eşlenmiş çıktı ayrı tutulur.

Örnekleme, nicemleme ve çözünürlük

Sürekli görüntünün ayrık temsili, uzamsal örnekleme ile genlik nicemlemesinin bileşimidir. Ayrık görüntü I[m,n], belirli örnekleme noktalarındaki ölçümlerin sayısal karşılığıdır. Örnekler arasında gözlem bulunmadığından, yeniden boyutlandırma işlemi yeni fiziksel ayrıntı kaydetmez. Örnekleme frekansı, sahnedeki en yüksek uzamsal frekansa göre düşükse üst frekans bileşenleri daha düşük frekanslara katlanır; bu etki aliasing olarak gözlenir. Optik düşük geçiren etki veya kontrollü ön filtreleme aliasing'i azaltabilir, ancak yüksek frekans bilgisini de sınırlar.

Kanal başına b bitlik ideal nicemleme 2ᵇ seviye sunar. Doğrusal nicemlemede adım büyüklüğü Δ = (x_max − x_min)/(2ᵇ − 1) ile yaklaşık hesaplanır. Nicemleme hatasının her koşulda beyaz ve bağımsız dağıldığı varsayımı geçerli değildir; bu yaklaşım yalnız uygun işaret ve dither koşullarında anlamlı bir modeldir. Bit derinliği, uzamsal örnek sayısı, optik ayırma gücü ve sinyal-gürültü oranı birbirinin yerine kullanılan kalite ölçütleri değildir.

Ölçüm belirsizliği

Karanlık akım, okuma gürültüsü, foton sayımı, ölü pikseller, doygunluk ve hareket kaynaklı bozulmalar farklı istatistiksel karakterdedir. Dinamik aralığın belirlenmesinde yalnız en yüksek ve en düşük sayısal kod değil, güvenilir ölçüm sınırı önemlidir. İki görüntünün karşılaştırılmasında pozlama, odak, kanal kodlaması ve zaman farkı sabit tutulmadığında fark haritası fiziksel değişimi değil kayıt zincirini gösterebilir.

Ünite 2: Görüntü Temsilleri, Renk ve Kayıt

Görüntü kaydı, sensörde oluşan verinin sayısallaştırılması, renk bilgisinin oluşturulması, sıkıştırılması ve dosya ya da akış biçiminde saklanması sürecidir. İletişim aşamasında aynı veri ağ gecikmesi, paket kaybı ve bant genişliği gibi ek sınırlara tabi olur.

Sensörden kareye

CMOS ve CCD algılayıcılar fotonları elektrik yüküne dönüştürür. Analog-sayısal dönüştürücü bu yükü sayısal değerlere çevirir. Renk filtre dizileri tam renk bilgisini doğrudan üretmediği için demosaic işlemi gerekebilir. Pozlama, gain ve beyaz dengesi de piksel dağılımını daha uygulama yazılımına ulaşmadan değiştirir.

Çoklu Algılayıcı Kayıtlarında Geometrik ve Işınımsal Ayrım

Görünür ve termal görüntülerin birlikte analizinde eşzamanlılık, hizalama ve ölçüm ölçeği ayrı problemlerdir. Önce karelerin zaman damgaları ortak bir referansa dönüştürülür; daha sonra mercek bozulması düzeltilir ve ortak görünür yapılar veya kalibrasyon hedefleri üzerinden dönüşüm kestirilir. Farklı dalga boylarındaki parlaklıkların birebir eşit olması beklenmediğinden, doğrudan piksel farkı en küçükleme çoğu sahnede uygun değildir. Kenar/topoloji uyumu veya karşılıklı bilgi gibi ölçütler daha anlamlı olabilir.

Geometrik dönüşümden sonra örnekleme sırasında enterpolasyon gerçekleşir. Etiket maskeleri için sınıf indeksini bozmayacak en yakın komşu, sürekli yoğunluklar için uygun sürekli enterpolasyon kullanılır; termal ölçümde enterpolasyonun sıcaklık çözünürlüğüne etkisi ayrıca raporlanır. Birleşik görüntünün denetimi yalnız görsel üst üste bindirme ile yapılmaz: bağımsız denetim noktalarındaki artık uzaklıklar, hizalamanın sahne derinliği boyunca değişimi ve kayıtlar arasındaki zaman farkı birlikte ölçülür. Hareketli hedefte küçük bir zaman farkı bile geometrik hata olarak görünebilir.

Codec ve taşıyıcı

Codec, görüntü veya video örneklerinin hangi yöntemle kodlanacağını belirler. Medya taşıyıcısı ise bir veya daha fazla görüntü, ses, altyazı ve zaman bilgisini aynı dosya veya akış içinde düzenler.

Kayıpsız sıkıştırma örnekleri birebir korurken daha fazla depolama alanı gerektirir. Kayıplı codec'ler daha küçük veri miktarı karşılığında ayrıntının bir bölümünü atar. Video sıkıştırma, kareler arasındaki zamansal benzerlikten de yararlanır.

Canlı aktarım

Canlı iletimde codec seçimi kadar tamponlama ve paketleme davranışı da belirleyicidir. Daha büyük tampon ağ dalgalanmalarını azaltabilir fakat uçtan uca gecikmeyi artırır. Uzun tahmin zincirleri sıkıştırma verimini yükseltirken paket kaybından toparlanmayı zorlaştırabilir.

Sağlam bir işleme hattında çözünürlük, kare hızı, renk formatı, codec, zaman damgaları ve uygulanan dönüşümler birlikte izlenir.

Kanal gösterimi ve renk bilimi

Gri seviye görüntü çoğu zaman tek kanal üzerinde işlemeye elverişlidir, ancak tek kanalın ışınımın tam fiziksel karşılığı olduğu varsayılamaz. Üç kanallı renkli görüntülerde bileşenler seçilen renk uzayı, transfer fonksiyonu ve beyaz nokta tanımına bağlıdır. RGB değerleri cihaz ve aktarım karakteristiğinden bağımsız bir renk ölçümü değildir. Parlaklık ile renk farkının ayrıldığı temsiller sıkıştırmada yararlı olabilir; algısal olarak düzenlenmiş renk uzayları ise mesafe hesaplarında, renk farkı ölçütünün geçerlilik alanı gözetilerek kullanılır.

Gamma kodlanmış örnekler üzerinde doğrusal ışık varsayımıyla işlem yapmak ortalama alma ve harmanlama sonuçlarını bozabilir. Işık şiddetiyle doğrusal hesaplama gereken işlemlerde ters aktarım fonksiyonu uygulanarak doğrusal alana geçilir; çıktı görüntüsü hedef gösterim için yeniden kodlanır. Kanal sırası, alfa bileşeni, ön çarpılmış alfa, renk profili ve tam/sınırlı sayısal aralık sessiz veri hatalarının yaygın kaynaklarıdır.

Dosya, sıkıştırma ve zaman

Bir görüntü dosyasında kodlanmış veri, metadata ve çözümleme kuralları bulunur. Kayıpsız sıkıştırma örnek değerlerini korumayı hedefler; kayıplı sıkıştırmada nicemleme ve algısal dönüşümler geri döndürülemez bilgi kaybına neden olur. Kare dizileri ayrıca zaman damgaları, sıralama, kare atlama, yeniden sıralama ve değişken kare hızı gibi sorunlar taşır. Bir video için yalnız kare/saniye değeri, her karenin fiziksel yakalama anını kesin olarak bildirmez.

Kayıt zincirinde edinim, renk dönüşümü, ölçekleme, kodlama ve aktarım katmanları ayrı izlenmelidir. Bir görüntüdeki blok artifaktı, yapay kenar veya renk kayması fiziksel sahneden değil, sonradan uygulanan kodlama işleminden doğabilir. Adli ve bilimsel uygulamalarda özgün bayt dizisi ile çözülmüş piksel matrisi farklı doğrulama katmanlarıdır.

Ünite 3: Uzamsal ve Frekans Alanında Görüntü İşleme

DCT neden benzerliği yakalar

DCT'nin benzerlik analizindeki başarısı, dönüşümün görüntüyü yalnız başka bir koordinat sistemine taşımasından kaynaklanmaz. Başarı, hangi katsayıların seçildiğine ve bunların nasıl nicelendiğine bağlıdır.

• Görüntünün ortalama yoğunluğu
• Geniş yatay ve dikey geçişler
• Büyük nesne sınırları
• Genel açık-koyu dağılımı
• Kaba kompozisyon
• Düşük frekanslı doku

İnce yazılar, sık dokular, sıkıştırma gürültüsü ve tek piksellik değişimler daha yüksek frekanslarda kalır. Bu katsayıların özete alınmaması, görüntünün dosya düzeyindeki küçük değişimlere karşı daha kararlı olmasını sağlar.

Benzer bir DCT algısal özet yaklaşımını inceleyen çalışmalarda görüntünün standart boyuta indirgenmesi, düşük frekanslı 8x8 katsayı bölgesinin seçilmesi ve bu katsayılardan 64 bitlik bir değer oluşturulması kullanılmıştır. Deneysel çalışmalar, algısal olarak benzer görüntülerin özetleri arasındaki Hamming uzaklığının ilgisiz görüntülere göre daha düşük olabildiğini göstermektedir.

Bu işlem şu biçimde gösterilebilir:

h_i = 1,  F_i > median(F)
      0,  F_i ≤ median(F)

Ortaya çıkan sonuç 64 bitlik bir tamsayıdır.

Medyan kullanımı önemlidir. Ortalama değer uç katsayılardan, özellikle DC bileşeninden güçlü biçimde etkilenebilir. Medyan ise frekans katsayılarının göreli sıralamasını temsil eder. Görüntünün genel kazancı değiştiğinde katsayıların mutlak değerleri değişebilir, fakat göreli büyük-küçük yapısı büyük ölçüde korunabilir.

Algısal özet böylece şu soruya cevap verir:

"Bu iki görüntünün düşük frekans yapısında benzer katsayılar medyanın aynı tarafında mı kalıyor?"

Bu, piksel piksele eşitlikten farklıdır. İki katsayı sayısal olarak farklı olsa bile aynı sınıfta kalabilir. Küçük bir değişim ancak katsayı medyan eşiğini geçtiğinde bit değiştirir.

İki boyutlu ayrık konvolüsyon

Doğrusal ve uzayda değişmez bir filtrenin çıktısı Y[m,n] = Σᵢ Σⱼ h[i,j] · I[m−i,n−j] biçimindedir. Korelasyon ile konvolüsyon çekirdeğin çevrilme yönünde ayrılır. Birçok uygulama arayüzünde adı konvolüsyon olan işlem gerçekte korelasyon uygulayabilir; simetrik çekirdeklerde fark görünmez. Çekirdeğin katsayılarının toplamı, sabit bölgelerin kazancını belirler. Ayrılabilir bir çekirdek h[i,j] = a[i] · b[j] olarak yazılabildiğinde iki tek boyutlu geçiş hesaplama ve önbellek trafiğini azaltır.

Sınırda sıfır doldurma, yansıtma, sabit değer uzatma ve dairesel devam farklı matematiksel varsayımlardır. Keskinleştirme yüksek frekansı yükseltirken gürültüyü de güçlendirebilir; düzgünleştirme ise uzamsal ayrıntıyı bastırır. Bu nedenle filtre yanıtı yalnız örnek görüntünün görünüşüyle değil, aktarım fonksiyonu ve bozulma modeliyle değerlendirilir.

İki boyutlu spektrum ve kosinüs dönüşümü

Ayrık Fourier dönüşümü F[u,v] = Σ(m=0…M−1) Σ(n=0…N−1) I[m,n] · exp[−j2π(um/M + vn/N)] ile tanımlanır. Dönüşümün genlik ve faz bileşenleri birbirinden bağımsız değildir: geometrik yapı ve konum bilgisi büyük ölçüde faz ilişkilerine bağlıdır. Fourier alanında yapılan noktasal çarpım, uygun sınır koşulları altında uzamsal evrişime karşılık gelir. Periyodik devam varsayımı nedeniyle kenar artifaktları oluşabilir; doldurma ve pencereleme bu etkiyi kontrol eder.

Ayrık kosinüs dönüşümü doğal görüntülerdeki uzamsal korelasyonun enerjisini sınırlı sayıda düşük frekans katsayısında yoğunlaştırabilir. Bu özellik sıkıştırma ile algısal benzerlik arasında ortak bir matematiksel zemin kurar; fakat algısal özet, kriptografik bütünlük kanıtı değildir. Hamming uzaklığıyla hızla elenen adaylar daha ayrıntılı geometrik veya bölgesel eşleştirmeyle yeniden doğrulanabilir. Kırpma ve döndürme karşısında dayanıklılık, kullanılan özetin değişmezlik özelliklerine bağlıdır.

Karmaşıklık ve sayısal hassasiyet

Doğrudan k × k çekirdekle M × N görüntünün filtrelenmesi yaklaşık O(MNk²) işlem gerektirir. Ayrılabilir filtrelerde bu maliyet O(MNk), büyük çekirdekler için dönüşüm tabanlı hesaplamada uygun koşullarda O(MN log(MN)) düzeyine düşebilir. Gerçek çalışma süresi bellek düzeni, vektörleşme, geçici tamponlar ve veri aktarımına da bağlıdır. Düşük hassasiyetli ara hesaplamalarda taşma, yuvarlama ve katsayı normalizasyonu çıktı kalitesini değiştirebilir.

Filtre Uygulamasının Sayısal Sınırları

Aynı konvolüsyon çekirdeği, görüntü sınırının nasıl uzatıldığına göre farklı sonuç verir. Sıfır doldurma kenarda yapay kararma oluşturabilir; yansıtmalı sınır genişletme keskin süreksizliği azaltır ancak fiziksel görüntü alanı dışında ölçüm üretmez. Filtre sonucunun gerçek sensör ölçümüyle karıştırılmaması için uygulanan sınır koşulu, piksel veri türü ve doygunluğa kırpma yöntemi belirlenmelidir. Tamsayı görüntüde işaretli/ondalıklı ara hesap yapılmadan konvolüsyon uygulanması taşma ve yuvarlama hatasına neden olabilir.

Ayrılabilir k × k çekirdekte iki tek boyutlu geçiş doğrudan iki boyutlu uygulamanın yaklaşık k² örnek çarpımına karşılık 2k çarpım maliyeti gerektirir; bu üstünlük ancak çekirdek ayrılabiliyorsa geçerlidir. Büyük çekirdeklerde dönüşüm alanı işlemleri avantaj sağlayabilir; dönüşüm, tampon tahsisi ve kenar uzatma maliyetleri küçük görüntülerde kazancı ortadan kaldırabilir. Algoritma seçimi yalnız kuramsal işlem sayısıyla değil, bellek trafiği ve ölçülen uçtan uca süreyle yapılır.

Dönüşüm alanında karşılaştırmanın sayısal örneği

Sekiz bitlik gri seviye bir görüntünün yeniden ölçeklenmesi, ardından kosinüs dönüşümünün düşük frekans katsayılarının karşılaştırılması düşünülsün. Ortonormal dönüşümün ilk katsayısı ortalama aydınlıkla, diğer düşük frekans katsayıları kaba yapıyla ilişkilidir. İlk katsayıyı doğrudan karşılaştırmaya almak genel parlaklık değişimine duyarlılığı artırabilir. Kalan katsayıların medyan etrafında ikili kodlanmasıyla kısa bir özet oluşturulabilir. İki 64 bit özet için d_H(a,b) = popcount(a ⊕ b), yani XOR sonucundaki bir bitlerinin sayısı hesaplanır. Değer sıfır olsa dahi dosya bütünlüğü veya nesne kimliği kanıtlanmaz; farklı görüntüler aynı kısa özete düşebilir.

Özetin uzunluğu b ise yalnız 2ᵇ olası bit dizisi vardır. Görüntü uzayı çok daha büyük olduğundan çakışma kaçınılmazdır. Hızlı aday üretiminin ardından ikinci bir doğrulama katmanı gereklidir. Eşik seçimi bir test dağılımında yanlış kabul–yanlış ret dengesiyle yapılır; kırpma veya perspektif dönüşümünün güçlü olduğu veri üzerinde ayrı kalibrasyon gerekir.

Ünite 4: Görüntü İyileştirme ve Onarma

Görüntü onarma, bozulma modeli hakkında bilgi kullanarak daha temiz bir görüntü kestirmeyi amaçlar. Görüntü iyileştirme ise çoğunlukla görünürlüğü veya algısal kaliteyi artırmaya yöneliktir.

Gürültü ve bulanıklık

Gaussian, impuls ve Poisson benzeri gürültüler farklı fiziksel süreçlerden kaynaklanır. Medyan filtre impuls gürültüsünde etkiliyken başka gürültü dağılımları farklı kestirim yöntemleri gerektirir.

Bulanıklık odak hatası, kamera hareketi veya nesne hareketinden oluşabilir. Wiener filtresi ve dekonvolüsyon yöntemleri bozulma fonksiyonu yeterince bilindiğinde ayrıntı geri kazanımını hedefler. Kör dekonvolüsyon hem görüntüyü hem bulanıklık modelini birlikte kestirmeye çalışır.

Kontrast ve eksik bölgeler

Histogram eşitleme, gamma düzeltme ve yerel kontrast yöntemleri düşük kontrastlı ayrıntıları görünür hale getirebilir. Inpainting eksik bölgeleri çevre dokusundan veya öğrenilmiş öncüllerden tamamlar.

Üretici yöntemlerle tamamlanan ayrıntılar kaynak görüntüde doğrudan ölçülmüş bilgi değildir. Bu nedenle orijinal kayıt ile türetilmiş görüntünün ayrı tutulması özellikle ölçüm ve adli inceleme süreçlerinde önemlidir.

Süper çözünürlük

Süper çözünürlük, bir veya daha fazla düşük çözünürlüklü girdiden daha yüksek çözünürlüklü temsil kestirir. Piksel tabanlı kayıplar daha korumacı sonuçlar üretirken algısal veya çekişmeli kayıplar daha keskin fakat daha fazla üretilmiş ayrıntı içerebilir.

Onarma işleminin değeri, görsel görünüm kadar hangi bilginin ölçümden, hangisinin kestirimden geldiğinin açıklanabilir olmasına bağlıdır.

Ters Problem Olarak Görüntü Onarma

Bulanıklık, gürültü ve eksik örnekler bulunan bir görüntüyü onarmak, çoğu zaman doğrudan filtre uygulamaktan ziyade bir ters problem olarak yazılabilir:

y = Hx + n

Burada x bilinmeyen temiz görüntü, H görüntü oluşum veya bozulma operatörü, n gürültü, y ise gözlemdir. İleri model x biliniyorsa y üretmeyi açıklar; onarım ters yönde y üzerinden x kestirmeye çalışır.

Ters problem kötü koşullu olabilir. Küçük ölçüm hataları büyük çözüm değişimleri oluşturabilir veya birden fazla görüntü aynı gözleme yakın olabilir. Bu nedenle yalnız veri uyumu yeterli değildir.

Düzenlileştirme ve Önsel Bilgi

Düzenlileştirme, veri uyumu ile beklenen görüntü yapısı arasında denge kurar:

min_x  veri_uyumu(Hx,y) + lambda * R(x)

R(x) pürüzsüzlük, seyrek gradyan, düşük rank veya öğrenilmiş bir önseli temsil edebilir. lambda çok büyükse ayrıntı aşırı bastırılabilir; çok küçükse gürültü ve ters problemin kararsızlığı baskın kalabilir.

Bu yaklaşım klasik Wiener/Tikhonov düşüncesinden modern plug-and-play veya öğrenilmiş önsellere kadar ortak bir çerçeve sağlar. Yöntem farklı olsa da ölçülmeyen ayrıntının hangi varsayım üzerinden geri getirildiği açık tutulmalıdır.

Enterpolasyon, Süper Çözünürlük ve Gerçek Ayrıntı

Enterpolasyon, mevcut örnekler arasında değer kestirir. Süper çözünürlük ise düşük çözünürlüklü gözlemden daha yüksek çözünürlüklü bir temsil çıkarmayı amaçlar ve çoğu zaman daha güçlü önsel bilgi kullanır.

Bicubic büyütme ile öğrenilmiş super-resolution aynı iddiayı taşımaz. Birincisi yerel yeniden örnekleme kuralıdır. İkincisi eğitim verisinden öğrenilmiş yapıları kullanarak yüksek frekans ayrıntısı tahmin edebilir. Bu ayrıntı görsel olarak ikna edici olsa bile ölçülmüş gerçek ayrıntıyla aynı şey değildir.

Adli, bilimsel veya kanıt niteliğindeki görüntülerde bu ayrım özellikle kritiktir. Sistem, ölçülen piksel bilgisini algoritmik olarak tahmin edilen veya üretilen ayrıntıdan ayırmalı; orijinal veri değişmeden korunmalıdır.

Gürültü ve bozulma modelleri

Gözlenen görüntünün y = Hx + n modeliyle ifade edilmesi, filtreleme ile onarmanın farkını görünür kılar. H bulanıklık, örnekleme veya eksik gözlem operatörüdür; n ise belirsizliği temsil eder. Fotonsal gürültü ölçülen ışınım miktarına bağlı olabilir; dürtü gürültüsü seyrek ve büyük sapmalara, speckle ise çoğunlukla çarpımsal değişkenliğe yol açar. Her gürültü türünü aynı ortalama filtresiyle gidermek doku, kenar ve ince yapıyı gereksiz yere kaybettirir.

Medyan filtresi dürtü gürültüsü için dayanıklı bir seçenekken kenarları koruyan doğrusal olmayan filtreler hem uzamsal yakınlık hem değer farkını kullanır. Yerel olmayan yöntemler görüntü içinde yinelenen desenlerden yararlanır. İki görüntünün gürültü düzeyini kıyaslamadan önce aynı renk dönüşümü, piksel ölçeği ve kodlama koşulları sağlanmalıdır.

Gürültü Modelinden Filtre Seçimine

Filtreleme öncesinde gürültünün uzamsal bağımlılığı ve görüntüleme fiziği incelenir. Darbeli bozulumda sıralama temelli filtreler, yaklaşık toplamsal beyaz gürültüde yerel doğrusal kestirim, kenar koruma gerektiren sahnelerde yoğunluk ve uzamsal uzaklığı birlikte ağırlıklandıran filtreler değerlendirilebilir. Benzer yamalar arasında ağırlıklı ortalama yapan yerel olmayan yöntemler tekrarlanan dokudan yararlanır; fakat benzeme ölçütü yanlış seçildiğinde ince çizgileri silebilir. Çarpımsal benek gürültüsü için ham yoğunluğa toplamsal gürültü varsayımı uygulamak uygun olmayabilir.

Deney düzeninde aynı sahnenin sabit edinim koşullarıyla referans ve bozulmuş örnekleri ayrılır. Filtre parametreleri geliştirme kümesinde seçilir, daha sonra bağımsız testte kenar genişliği, ince hedefin algılanabilirliği, yapı benzerliği ve çalışma süresi karşılaştırılır. Gürültü azaltılırken korunan yapı sayısı azalıyorsa yalnız görsel pürüzsüzlük artışı iyileşme kabul edilmez. Adli değerlendirmede gürültü bastırma işlemi delile yeni ayrıntı ekleyebileceğinden çıktı türetilmiş görüntü olarak işaretlenir; ham kare değişmez kalır.

Ters problem ve düzenlileştirme

x̂ = argminₓ {||Hx − y||₂² + λR(x)} biçimindeki amaç fonksiyonu gözleme uyum ile önsel kısıtı birleştirir. R(x) gradyanların seyrekliği, düzgünlük veya öğrenilmiş görüntü dağılımını temsil edebilir. λ aşırı büyükse ince ayrıntı silinir; küçükse ölçüm gürültüsü güçlenir. Değişken olmayan bulanıklıkta frekans alanında ters filtreleme sıfıra yakın aktarım katsayıları nedeniyle kararsızdır. Düzenlenmiş kestirimler bu kararsızlığı bastırır fakat kayıp bilgiye ilişkin kesinlik üretmez.

Çoklu kareden süper çözünürlük, alt-piksel hizalanmış bağımsız gözlemler sayesinde tek kare büyütmeden farklı bilgi sağlayabilir. Tek görüntüden öğrenilmiş ayrıntı üretimi ise eğitim dağılımının önsellerini taşır. Bilimsel ve adli kayıtlarda ham veri, işlemlerin parametreleri ve türetilmiş sonuç ayrı tutulur; görsel ikna edicilik gerçek sahne ölçümünün yerine geçmez.

Ünite 5: Geometrik Dönüşümler ve Görüntü Hizalama

Projektif görüntü modeli

Homojen koordinatlarla görüntü noktası p̃ = (u,v,1)ᵀ ve üç boyutlu nokta X̃ = (X,Y,Z,1)ᵀ için perspektif kamera ilişkisi s · p̃ = K[R | t] · X̃ olarak yazılır. İç parametre matrisi odak ve asal noktayı, dış parametreler dönme ve ötelemeyi temsil eder. Mercek bozulması kalibrasyonda ayrıca modellenir. Dünya koordinatlarından piksele dönüşüm ile iki görüntü arasında doğrudan eşleştirme aynı problem değildir.

Düzlemsel bir sahne veya saf kamera dönüşü koşullarında iki görüntü arasında p̃′ ∼ H · p̃ homografisi kullanılabilir. Genel üç boyutlu sahnelerde derinliğe bağlı paralaks bulunduğundan tek homografi tüm noktaları hizalayamaz. Afin dönüşüm perspektif etkisini modellemez; daha az parametreli modeller doğru koşullarda daha düşük kestirim varyansına sahip olabilir.

Eşleşme ve dayanıklı kestirim

Eşleşen noktalar ölçüm hatası ve yanlış çiftler içerir. Doğrusal çözüm öncesi koordinatların uygun biçimde normalleştirilmesi sayısal koşullanmayı iyileştirir. Dayanıklı örnekleme algoritmaları asgari nokta alt kümelerinden model kurup yeniden izdüşüm hatasına göre tutarlı eşleşmeleri arar. Hata eşiğinin piksel cinsinden seçilmesi çözünürlüğe, özellik konumlandırma belirsizliğine ve kamera modeline bağlı olmalıdır. Tekrarlanan doku, hareketli nesneler ve yetersiz geometrik çeşitlilik yanlış tutarlı modeller üretebilir.

Termal, görünür ve diğer spektral görüntülerin birleştirilmesinde ortak parlaklık varsayımı çoğu zaman geçersizdir. Eşleme ölçütü ortak geometrik yapılara, karşılıklı bilgiye veya öğrenilmiş modaliteye dayanıklı özniteliklere bağlanabilir. Doğrulama için geometrik artıklar ve bağımsız denetim noktaları kullanılır.

Dayanıklı Hizalama İçin Uygulama Zinciri

İki kare arasında geometrik eşleme yapılırken ilk iş, benzer noktaları bulmaktan önce hangi geometrik modelin sahneye uygun olduğunu belirlemektir. Sabit kamera ve düzlemsel yüzeyde projektif dönüşüm seçilebilir; derinliği değişen sahnede veya kamera ötelemesinde tek dönüşümün bütün görüntüyü açıklaması beklenmez. Görüntüler karşılaştırılabilir yoğunluk aralığına getirilir, yerel öznitelikler çıkarılır ve tanımlayıcı türüne uygun uzaklıkla aday çiftler seçilir. En yakın ve ikinci yakın adayın göreli uzaklığı tekrarlı dokudaki belirsizliği gösterir; ters yönden tutarlılık denetimi rastlantısal eşleşmeleri azaltır.

Aykırı eşleşmeler elendikten sonra asgari örneklerden dönüşüm kestirilir. Her aday modelin yeniden izdüşüm artığı, ölçüm belirsizliğine uygun eşikle değerlendirilir; geometrik olarak birbirine yakın veya aynı doğru üzerindeki örneklerin baskın olduğu çözümler ayrıca reddedilir. Tutarlı noktaların görüntü alanına yayılması, toplam nokta sayısından daha açıklayıcı bir güven göstergesidir. Seçilen model bütün tutarlı çiftlerle yeniden optimize edilir ve dönüşümü belirlemede kullanılmamış denetim noktalarında sınanır. Doğrudan yoğunluk hizalaması, yeterli doku ve ortak parlaklık yapısı bulunduğunda ince düzeltme sağlayabilir; termal–görünür eşleştirmede aynı varsayım otomatik kabul edilmez.

Geometrik kestirimin tanımlanabilirliği

Düzlemsel homografi sekiz bağımsız serbestlik derecesine sahiptir; uygun konumda dört nokta çifti asgari çözümü sağlar. Noktaların aynı doğru üzerinde veya çok dar bir bölgede bulunması modeli kötü koşullu hâle getirebilir. Koordinatları merkezleyip ortalama uzaklığı dengeleyerek normalleştirmek doğrusal çözümün sayısal kararlılığını iyileştirir. Öte yandan çok iyi yeniden izdüşüm hatası elde edilmesi sahnenin gerçekten düzlemsel olduğunu kanıtlamaz: az sayıda nokta, tekrarlayan dokular veya yanlış eşleşmeler de düşük hata oluşturabilir.

Dayanıklı rastgele örnekleme için bağımsız iç nokta oranı w, örnek başına gereken nokta sayısı s, en az bir tamamen doğru örnek seçme olasılığı p kabul edilirse gerekli deneme sayısı yaklaşık N = log(1−p) / log(1−wˢ) olur. Bu bağıntı iç nokta örneklemesinin bağımsız olduğu ideal durumda geçerlidir; korelasyonlu tekrarlar ve yanlış model varsayımları gerçek başarımı düşürebilir.

Ünite 6: Öznitelik Çıkarımı ve Görüntü Eşleştirme

Hamming uzaklığı ve kurumsal ölçek

İki 64 bitlik özet arasındaki benzerlik XOR işlemi ve bit sayımıyla ölçülebilir:

d_H(a,b)=popcount(a⊕ b)

Sonuç "0" ile "64" arasındadır. Sıfır, iki özetin aynı olduğunu gösterir. Değer büyüdükçe düşük frekans yapı farkı artar.

Bu temsil kurumsal sistemler için önemli bir avantaj sağlar. Her görüntü yalnız sekiz baytlık bir özetle temsil edilir. Bir milyon görüntünün ham özetleri, veri tabanı ve indeks ek yükleri hariç yaklaşık sekiz megabayt yer kaplar. İki görüntünün ön karşılaştırması, yüksek boyutlu özellik vektörü veya görüntü çözme işlemi gerektirmez.

Bununla birlikte eşik değeri evrensel değildir. Kabul edilebilir Hamming uzaklığı veri alanına göre belirlenmelidir. Belge görüntüleri, yüz fotoğrafları, ekran görüntüleri ve doğal sahneler aynı uzaklık dağılımına sahip değildir. Doğru eşik, pozitif ve negatif örneklerden oluşturulmuş doğrulama kümesi üzerinde seçilmelidir.

Doğrusal tarama "M" kayıt için "O(M)" maliyet taşır, ancak her karşılaştırmanın sabit maliyeti çok düşüktür. Veri hacmi daha da büyüdüğünde özetin belirli bit bölümlerine göre parçalanması, çok indeksli arama veya Hamming uzayına uygun yaklaşık komşuluk yapıları kullanılabilir.

Görüntü öznitelikleri, ham piksel dizisini karşılaştırma ve sınıflandırma için daha kullanışlı bir temsile dönüştürür. Amaç yalnız veri miktarını azaltmak değil, görev açısından ayırt edici bilgiyi korumaktır.

Yerel ve küresel öznitelikler

Küresel tanımlayıcılar görüntünün tamamını renk, doku veya öğrenilmiş bir gömme ile özetler. Yerel tanımlayıcılar ise belirli anahtar noktaların çevresindeki yapıyı temsil eder. SIFT, SURF ve ORB bu yaklaşımın klasik örnekleridir.

Bir görüntü öznitelik vektörüne dönüştürüldüğünde eşleştirme, temsil uzayındaki uzaklık veya benzerlik problemine dönüşür.

Benzerlik ölçüleri

Öklid uzaklığı, kosinüs benzerliği ve Hamming uzaklığı farklı vektör türlerinde kullanılır. İkili tanımlayıcılarda Hamming, normalize edilmiş yoğun gömmelerde kosinüs benzerliği doğal bir seçim olabilir.

Eşleştirme hattı ön işleme, anahtar nokta seçimi, tanımlayıcı üretimi, aday bulma, geometrik doğrulama ve karar eşiği aşamalarını içerir. RANSAC benzeri yöntemler yerel eşleşmeler arasında geometrik tutarlılık arayarak yanlış adayları azaltabilir.

Büyük koleksiyonlar

Milyonlarca vektörde doğrusal tarama pahalı hale gelir. Yaklaşık en yakın komşu indeksleri, nicemleme ve hiyerarşik arama sorgu maliyetini düşürür. Vektör boyutu depolama, cache davranışı ve indeks hacmini doğrudan etkiler.

Öznitelik çıkarımı bu nedenle model, benzerlik ölçüsü ve indeks yapısıyla birlikte tasarlanan bir temsil problemidir.

Yerel değişmezlik ve ayırt edicilik

Öznitelik tespiti, konumu ve ölçeği güvenilir biçimde bulunabilen görsel yapıları arar; tanımlayıcı oluşturma bu yapıların çevresini karşılaştırılabilir sayısal temsile çevirir. Köşe ölçütleri genellikle bir pencerenin farklı yönlerdeki yoğunluk değişimini değerlendirir. Ölçek uzayı, farklı boyutlarda görülen aynı nesnenin izlenmesine yardımcı olur. Dönme normalleştirmesi yön değişimine dayanıklılık sağlayabilir, ancak değişmezlik arttıkça ayırt edicilik her zaman artmaz.

Öznitelik eşlemede d(a,b) = ||a − b||₂ gibi uzaklıklar sürekli vektörler, bit dizilerinde Hamming uzaklığı kullanılabilir. En yakın eşleşmenin kabulü tek başına güvenilir değildir; iki komşu arasındaki uzaklık oranı, çift yönlü tutarlılık ve geometrik doğrulama birlikte uygulanabilir. Ön adayları hızlı aramak üzere yaklaşık yakın komşu yapıları kullanıldığında bellek, sorgu zamanı ve recall ayrı ölçülür.

Eşleştirme, Aday Daraltma ve Geometrik Doğrulama

Öznitelik aramasında tanımlayıcının veri türü uzaklık hesabını belirler. İkili tanımlayıcı için bit farkı sayısı, sürekli vektör için uygun norm veya normalize edilmiş iç çarpım kullanılır. Rastgele vektörleri aynı eşikle karşılaştırmak doğru değildir; eşik doğrulanmış eşleşen ve eşleşmeyen çiftlerin hata dağılımından seçilir. Büyük koleksiyonlarda yaklaşık komşu arama aday üretimini hızlandırabilir ancak en yakın gerçek komşunun kaçırılma olasılığı ve indeks bellek maliyeti ölçülmelidir.

Arama sonucu tek başına görüntü eşleşmesinin kanıtı değildir. Aday kareler için yerel eşleşmeler çıkarılıp tekil geometrik dönüşüm altında yeniden izdüşüm tutarlılığı aranır. Sonuç değerlendirmesi, görüntü düzeyindeki doğru geri getirme oranını ve geometrik olarak yanlış kabul edilen aday oranını ayrı raporlar. Veri kümesi kopya kare, kırpma, yeniden ölçekleme, dönme, sıkıştırma ve düşük kontrast örneklerini barındırmalı; aynı kaynak videodan türetilmiş kareler eğitim ve test kümelerine karışmamalıdır.

Algısal imzalar ve arama

Global özetler görüntünün genel biçimini düşük maliyetle temsil eder; yerel öznitelikler ise kısmi örtüşme, kırpma ve bölgesel değişikliklerde daha güçlü olabilir. Algısal imzayla bulunan yakınlık, kayıtların bayt düzeyinde eşit olduğunu ispatlamaz. Ön eleme için ucuz imza, doğrulama için geometrik artıklar veya bölgesel benzerlik kullanan iki aşamalı akış, büyük koleksiyonlarda isabet ile gecikme arasında denge kurar.

Öznitelik temsillerinin geçerlemesinde aynı nesnenin farklı kayıtları, benzer fakat farklı nesneler ve manipüle edilmiş kayıtlar ayrı değerlendirilmelidir. Bir eşik yalnız geliştirme kümesinde ayarlanıp aynı kümede başarı olarak raporlanırsa sonuç iyimser olur. Sorgu başına aday sayısı ve yanlış pozitif maliyeti üretim ölçeğinde ayrıca ölçülür.

Ünite 7: Görüntü Bölütleme

Görüntü bölütleme, bir görüntünün piksellerini veya bölgelerini anlamlı sınıflara ayırır. Sınıflandırmadan farklı olarak sonuç uzamsal konum bilgisini korur ve nesne ölçümü, kalite kontrol, tıbbi görüntüleme ve sahne analizi gibi işlemlere doğrudan girdi sağlar.

Klasik yöntemler

Eşikleme, yoğunluk veya başka bir skaler öznitelik üzerinden bölgeleri ayırır. Sabit aydınlatmada global eşikler yeterli olabilir; değişken aydınlatmada yerel eşikler daha kararlı sonuç verir. Otsu yöntemi sınıflar arası varyansı kullanarak otomatik eşik seçer.

Bölge büyütme, watershed ve bağlı bileşen analizi daha yapısal yaklaşımlardır. Morfolojik açma, kapama, aşındırma ve genişletme maske üzerindeki küçük bozulmaları düzenlemek için kullanılır.

Öğrenme tabanlı bölütleme

Görüntü bölütleme için U-Net benzeri encoder-decoder yapılar yoğun etiket haritası üretir. Semantic segmentation sınıf etiketler, instance segmentation tekil nesneleri ayırır, panoptic segmentation ise iki yaklaşımı birleştirir.

IoU ve Dice skoru maske örtüşmesini ölçmek için yaygın metriklerdir. Arka planın baskın olduğu veri kümelerinde yalnız piksel doğruluğu yanıltıcı olabilir.

Hesaplama ve etiket kalitesi

Yüksek çözünürlüklü maskeler daha fazla bellek ve hesaplama gerektirir. Tile tabanlı işleme küçük yapıların korunmasına yardımcı olabilir; buna karşılık birleştirme maliyeti doğurur. Etiket sınırlarındaki tutarsızlıklar da modelin öğrenebileceği üst sınırı etkiler.

Bölütleme çıktısı çoğu sistemde son ürün değil; izleme, OCR, ölçüm veya karar katmanına aktarılan ara temsildir.

Bölütleme probleminin düzeyleri

Bölütleme görüntüyü anlamlı bölgelere veya nesne örneklerine ayırır. İkili eşikleme, yoğunluk ayrımı belirgin sahnelerde yeterli olabilir; adaptif eşikleme aydınlatmanın uzamsal değişimini telafi etmeyi amaçlar. Morfolojik açma ve kapama küçük bileşenleri ayırmak veya boşlukları doldurmak için kullanılır, fakat yapısal eleman boyutu ölçülecek ayrıntıyı değiştirebilir. Kenar tabanlı yöntemler sınır sürekliliğine, bölge tabanlı yöntemler iç homojenliğe dayanır.

Anlamsal bölütleme her piksele sınıf atar; örnek bölütleme aynı sınıftaki farklı nesneleri de ayırır; panoptik gösterim bu iki bakışı birleştirir. Öğrenilmiş bölütleme modellerinde anotasyonun ontolojisi, belirsiz sınıf sınırları ve sınıf dengesizliği sonuçları doğrudan etkiler. Küçük yapıların göz ardı edilmesi, toplam doğruluğun yüksek görünmesine rağmen kritik başarısızlık oluşturabilir.

Kayıp ve ölçüm

İkili maske için IoU = |A ∩ B| / |A ∪ B| ve Dice = 2|A ∩ B| / (|A| + |B|) ölçütleri kullanılır. Boş kümeler ve birden fazla nesne örneği özel tanım gerektirir. Piksel ağırlıklı ortalamalar büyük arka plan sınıfı lehine yanıltıcı olabilir; sınıf ve nesne düzeyi ortalamalar birlikte verilmelidir. Sınır uzaklığına dayanan ölçütler, maskelerin kesişmesi yüksekken geometrik sınırın hatalı kaldığı durumları gösterebilir.

Bölütleme çıktısı ölçüm zincirine bağlandığında alan ve uzunluk hesapları piksel ölçeği, kalibrasyon ve perspektif etkisiyle ilişkilendirilmelidir. Görünüşte düzgün bir maske fiziksel boyut kestiriminin doğru olduğunu tek başına kanıtlamaz.

Bölütleme Hattında Etiket Geometrisi ve Sınır Hataları

Piksel düzeyindeki etiket, kaynak görüntünün aynı koordinat sistemi ve görüntüleme geometrisiyle ilişkilidir. Eğitim öncesinde yön düzeltme, kırpma ve yeniden boyutlandırma işlemleri görüntüye ve maskeye eşzamanlı uygulanır. Renkli maskenin sınıf kodları açıkça tanımlanır; etiketlere doğrusal enterpolasyon uygulanması geçersiz ara sınıf değerleri üretir. Nesne sayısının az olduğu veri kümelerinde rastgele kare bölme, aynı sahnenin neredeyse özdeş örneklerini eğitim ve teste dağıtarak sonuçları yapay biçimde yükseltebilir.

Yüksek çözünürlüklü kareler parçalara ayrılırken nesnenin sınırdan kopması önlenmeli; örtüşen parçalardaki olasılık haritaları ağırlıklandırılarak birleştirilmeli ve nihai karar tek kez verilmelidir. Değerlendirmede maske alan örtüşmesi ile sınır konumu ayrı ölçülür. Dar veya küçük yapıların birkaç piksel kayması, geniş bölgelerdeki aynı piksel kaymasından çok daha yüksek bağıl hataya yol açar. Başarım, farklı aydınlatma, sıkıştırma, görüş açısı ve görüntü ölçeklerinde; piksel doğruluğuna ek olarak nesne düzeyindeki kaçırma ve yanlış alarm sayılarıyla raporlanır.

Ünite 8: Görsel Örüntü, Metin ve Nesne Tanıma

Görüntüden örüntü tanıma, tekrar eden görsel yapıların sınıf veya sembol haline dönüştürülmesini kapsar. Optik karakter tanıma bu alanın en yaygın örneklerinden biridir ve görüntü işleme ile dil modellemesini aynı zincirde birleştirir.

Görsel temsil

Klasik sistemlerde görüntü normalize edilir, kenar, gradient veya doku öznitelikleri çıkarılır ve k-NN ya da SVM gibi bir sınıflandırıcıya verilir. Evrişimli ağlar bu temsil ile sınıflandırma sınırını birlikte öğrenebilir.

OCR hattı

Optik karakter tanıma belge yönü, metin bölgesi bulma, satır oluşturma, karakter veya token tanıma ve dil tabanlı çözümleme aşamalarından oluşabilir.

CTC, attention veya Transformer tabanlı yapılar görüntü özniteliklerini karakter ve alt-sözcük dizilerine dönüştürebilir. Perspektif bozulması, düşük çözünürlük, karmaşık arka plan ve sıra dışı yazı tipleri performansı doğrudan etkiler.

Dil bilgisi ve izlenebilirlik

Dil modeli görsel olarak benzer karakterler arasındaki belirsizliği azaltabilir. Bununla birlikte ham OCR tahmini ile dil modeli tarafından düzeltilmiş sonuç ayrı tutulduğunda hangi bilginin görüntüden, hangisinin dil öncülünden geldiği korunur.

Karakter hata oranı ve sözcük hata oranı genel ölçümler sağlar. Tarih, kimlik numarası veya özel ad gibi kritik alanlar ayrıca değerlendirilebilir.

Nesne algılama, görüntüde hangi nesnelerin bulunduğunu ve konumlarını birlikte belirler. Çıktı uygulamaya göre sınırlayıcı kutu, kontur veya maske biçiminde olabilir.

Algılayıcı aileleri

İki aşamalı algılayıcılar önce aday bölgeler üretir, ardından sınıflandırma ve konum düzeltmesi yapar. Tek aşamalı yöntemler sınıf ve konumu aynı geçişte tahmin eder ve düşük gecikmeli uygulamalarda yaygın olarak kullanılır.

Küçük nesneler, yoğun sahneler ve büyük giriş çözünürlüğü hesaplama ile doğruluk arasındaki dengeyi değiştirir.

Örtüşme ve son işlem

IoU tahmin kutusu ile referans kutunun örtüşmesini ölçer. Aynı nesne için çok sayıda aday oluştuğunda Non-Maximum Suppression güven skoru ve örtüşme eşiğine göre tekrarları azaltır.

Sınır çıkarımında Canny gibi gradient tabanlı yöntemlerden aktif kontur ve instance segmentation yaklaşımlarına kadar farklı teknikler kullanılabilir.

Nesne Tespitinde Veri ve Çıkarım Tutarlılığı

Nesne tespitinin gerçek çalışma hattı, giriş çözünürlüğü ve renk kanalı dönüşümüyle başlar; yeniden boyutlandırma ve kenar doldurma uygulanmışsa model kutularının koordinatları bu dönüşümün tersiyle özgün kareye geri taşınır. Aksi hâlde doğru tespit skoru üretilse bile yanlış nesne konumu raporlanır. Güven eşiği, aynı sınıftaki örtüşen kutuların bastırılması ve küçük nesnelere ilişkin asgari boyut ilkeleri birlikte kalibre edilir; tek bir evrensel eşik tüm sınıflar için doğru kabul edilemez.

Etiketleme protokolünde kısmi görünürlük, yoğun örtüşme, görüntü sınırındaki nesne ve belirsiz sınıf ayrımları önceden tanımlanır. Doğrulama veri kümesi yalnız eğitimden farklı dosyaları değil, mümkünse farklı oturum ve görüntü edinim koşullarını içerir. Ortalama hassasiyet ölçütü eşik taramasına dayandığından tek işletim noktasındaki yanlış alarm yükünün yerine geçmez. Kamera başına gerçek alarm sıklığı, tespit edilen nesne başına gecikme ve kare düşürmenin etkisi ayrıca ölçülür.

Gerçek zamanlı performans

FPS tek başına uçtan uca gecikmeyi açıklamaz. Decode, yeniden boyutlandırma, bellek kopyaları, model çalıştırma, NMS ve sonuç serileştirme toplam süreye katkıda bulunur.

Gerçek zamanlı nesne algılamada throughput ve tek kare gecikmesi ayrı ölçülür; hedef donanım ve veri hattı model kadar belirleyicidir.

Sınıflandırma, konumlandırma ve tespit

Görüntü sınıflandırması tek görüntüye sınıf ya da sınıf dağılımı atarken nesne tespiti konumsal sınırlarıyla birlikte birden çok nesneyi tanımlar. Tek aşamalı ve iki aşamalı algılayıcılar aday üretimi, başlık hesaplaması ve gecikme bakımından farklı maliyet profillerine sahiptir. Sınır kutusu koordinatlarında ölçek ve oranların tutarlı kullanımı zorunludur. Birden çok yüksek skorlu örtüşen kutu için bastırma uygulanabilir; yoğun ve kısmen örtüşen nesnelerde yanlış birleştirme riski bulunur.

Ortalama duyarlılık hesaplamasında kullanılan IoU eşiği, güven sıralaması ve sınıf başına örnek dağılımı açıkça belirtilmelidir. Sadece kare başına işlenen görüntü sayısı sistemin uçtan uca gecikmesini açıklamaz. Veri aktarımı, renk dönüşümü, yeniden boyutlandırma, model çıkarımı ve son işlem birlikte ölçülür.

Görüntüden metne

Optik karakter tanıma, görüntü yerelleştirme, yön düzeltme, satır ve karakter/alt sözcük temsili ile dizi çözümlemesini içerir. Küçük puntolar, perspektif bozulma, sıkıştırma, el yazısı ve düşük kontrast hata dağılımını değiştirir. Dil tabanlı son düzeltme, görsel olarak okunamayan bir karakteri olasılıksal tahmine dönüştürebilir. Bu nedenle kaynak görüntü, ham tanıma hipotezi ve düzeltilmiş metin ayrı saklanmalıdır.

Tanıma hataları yalnız doğruluk oranıyla değil, sınıf karışıklıkları, tespit edilmemiş nesneler, yanlış alarm, alt grup başarımı ve olasılık kalibrasyonu üzerinden incelenir. Alan değişimi için ayrı test kümesi olmadan üretim güvenilirliği iddiası kurulamaz.

Ünite 9: Video, Hareket ve Zamansal Görü

Görüntüde anomali algılama, normal kabul edilen görsel davranıştan anlamlı ölçüde sapan örnekleri belirlemeyi amaçlar. Gelecekte oluşabilecek bütün anomali türleri önceden bilinemediği için problem çoğu zaman tek sınıflı öğrenme veya normal dağılımın modellenmesi biçiminde ele alınır.

Normal davranışın modellenmesi

Anomali algılama için autoencoder, yoğunluk kestirimi, one-class sınıflandırıcı veya öğrenilmiş embedding uzaklıkları kullanılabilir. Yeni örneğe yeniden oluşturma hatası, olasılık veya temsil uzayındaki uzaklık üzerinden skor verilir.

Karar eşiği operasyonel gereksinimlere göre belirlenir. Aynı skor farklı yanlış alarm maliyetlerinde farklı karar anlamına gelebilir.

Uzamsal ve zamansal bağlam

Üretim hattındaki yüzey kusuru çoğunlukla uzamsal bir problemdir. Güvenlik kamerasındaki davranış anomalisi ise hareket, zaman ve konuma bağlı olabilir. Optical flow, tracking ve zamansal modeller bu tür durumlarda yararlıdır.

Yanlış alarm ve dağılım değişimi

Nadir olaylarda temel oran düşük olduğu için küçük bir yanlış pozitif oranı bile yüksek alarm sayısına dönüşebilir. Precision-recall ve olay bazlı maliyetler bu nedenle önem kazanır.

Dağılım kayması, kamera değişimi, aydınlatma, mevsim veya üretim rejimi nedeniyle normal verinin eğitim dağılımından uzaklaşmasıdır. Anomali skoru bu bağlamla birlikte yorumlandığında daha anlamlı hale gelir.

Dudak okuma veya görsel konuşma tanıma, ağız ve yüz hareketlerinin zaman içindeki değişiminden konuşma içeriği çıkarmayı amaçlar. Problem tek kare sınıflandırmasından çok zamansal ve çok kipli bir işaret işleme problemidir.

Görsel konuşma işareti

Dudak, çene ve yanak hareketleri konuşma üretimiyle ilişkilidir. Bununla birlikte farklı fonemler benzer ağız şekilleri oluşturabildiği için viseme düzeyinde belirsizlik bulunur. Kamera açısı, kare hızı, çözünürlük, yüz örtüleri ve aydınlatma elde edilen bilgiyi değiştirir.

Görsel konuşma tanıma için yüz ve ağız bölgesinin kararlı biçimde izlenmesi gerekir.

Zamansal modelleme

3B evrişimler, recurrent ağlar, temporal convolution ve Transformer tabanlı modeller kare dizileri üzerindeki hareket örüntülerini işler. CTC veya attention tabanlı çözücüler görsel öznitelikleri karakter ya da token dizilerine dönüştürebilir.

Ses-görüntü birleştirme

Sesli-görsel konuşma tanıma, akustik işaret zayıfladığında görsel kanalı ek bilgi olarak kullanır. Birleştirme öznitelik, temsil veya karar düzeyinde yapılabilir.

Ses ve görüntü zamanlamasının doğru eşlenmesi gerekir. Kamera ve mikrofon saatleri, tamponlama ve aktarım gecikmeleri iki kanal arasında kaymaya neden olabilir.

Hareket alanı ve optik akış

Optik akış, ardışık karelerde görüntü parlaklığı deseninin yer değiştirme hızını yaklaşıklar. Parlaklık sabitliği ve küçük yer değiştirme varsayımlarından Iₓu + Iᵧv + Iₜ = 0 kısıtı çıkar. Tek denklem iki hareket bileşenini belirleyemediğinden uzamsal düzgünlük, yerel pencerede ortak hareket veya başka öncüller gerekir. Örtülme, yeni görünür alan, aydınlatma değişimi ve geniş hareket bu varsayımları bozar.

Video çözümlemesinde nesne hareketi ile kamera hareketi ayrıştırılmalıdır. Geometrik dengeleme sonrasında kalan artık akış, sahnede hareket eden cisimlere ilişkin aday bilgi sunabilir; ancak parallax ve model hataları da artık hareket üretir. Zaman damgalarının düzensiz olduğu kayıtlarda hareket vektörlerinin kare farkına değil gerçek zaman farkına göre ölçeklenmesi gerekir.

Çoklu nesne takibi

Takipte algılama sonuçları zaman içinde ilişkilendirilir. Durum kestirimi ve veri ilişkilendirme ayrı problemlerdir; hareket modeli bir sonraki konumu öngörür, gözlem eşleme ise hangi tespitin hangi yörüngeye ait olduğunu seçer. Kapalı kalma, kimlik değişimi ve yeniden görünme özel hata durumlarıdır. Takip doğruluğu ile kimlik sürekliliği farklı ölçütlerle değerlendirilmelidir.

Görsel konuşma çözümlemesinde dudak hareketlerinin zamansal temsilinden fonetik ipuçları çıkarılabilir, fakat farklı seslerin aynı dudak hareketini oluşturabildiği durumlar vardır. Ses ve video birleştirmesi senkronizasyon, kanal güvenilirliği ve eksik gözlemlere karşı dayanıklı biçimde tasarlanmalıdır.

Takipte Kestirim, İlişkilendirme ve Kimlik Sürekliliği

Çoklu nesne takibi, her karede tespit üretmekten farklı olarak geçmiş ölçümlerden hareket durumu kestirir. Konum ve hız içeren bir durum vektörü xₜ, geçiş matrisi F ile xₜ|ₜ₋₁ = F xₜ₋₁ biçiminde öngörülebilir. Öngörü belirsizliği kovaryansla taşınır; yeni kutunun merkeze uzaklığı tek başına yeterli eşleştirme ölçütü değildir. Ölçüm artıklarının kovaryansla normalize edilmesi, tahmin edilen konumdan ne kadar sapmanın makul olduğunun değerlendirilmesini sağlar. Uygun eşleştirme kapısından geçen tespitler, kutu örtüşmesi ve görünüş benzerliğiyle bir maliyet matrisi oluşturur; küresel atama çözümünden sonra eşleşmeyen izler belirli bir süre korunur.

Düşük güvenli tespitler tamamen atıldığında örtüşme sırasında iz parçalanabilir; bunları kontrollü ikinci eşleştirme aşamasında kullanmak sürekliliği iyileştirebilir. Ancak düşük skorlu yanlış pozitiflerin doğrudan iz başlatmasına izin verilmesi kimlik karışıklığını artırır. Optik akış, tespitler arasındaki kısa süreli hareketi destekler; aydınlatma değişimi ve hareketli kamera altında akış alanının nesne hareketiyle birebir eşit olmadığı gözetilir. Yörünge anomalisi incelenirken hız ve yön, zaman aralıklarıyla normalize edilir; yalnız koordinatlara göre yoğunluk kümelemesi, farklı kamera görüşlerinde yanlış sonuç verebilir. Ölçütler arasında kimlik değişimi, iz parçalanması, uzun süreli iz doğruluğu ve işlem gecikmesi birlikte bulunmalıdır.

Ünite 10: Derinlik ve Üç Boyutlu Bilgisayarlı Görü

Görüntüden derinlik kestirimi, sahnedeki noktaların kameraya olan uzaklığını bir veya daha fazla görsel gözlem üzerinden hesaplamayı amaçlar. Stereo kamera, tek kamera, yapılandırılmış ışık ve time-of-flight sensörleri farklı ölçüm ilkeleri kullanır.

Stereo geometri

Stereo görüş aynı sahneyi farklı bakış noktalarından gören iki kameradaki eşleşmelerden yararlanır. Rektifiye görüntülerde aynı noktanın yatay konum farkına disparity denir.

Basitleştirilmiş pinhole modelinde derinlik, odak uzaklığı ve kamera tabanı ile doğru; disparity ile ters orantılıdır. Bu nedenle uzak nesnelerde küçük disparity hataları büyük metrik uzaklık hatalarına dönüşebilir.

Eşleştirme

Dokusuz yüzeyler, tekrarlayan desenler, yansımalar ve örtülmeler eşleşmeyi zorlaştırır. Block matching, Semi-Global Matching ve öğrenilmiş stereo ağlar farklı hesaplama-doğruluk dengeleri sunar. Epipolar geometri aramayı bir doğru üzerine kısıtlayarak maliyeti azaltır.

Tek kamera ve sensör birleştirme

Monoküler modeller perspektif, nesne boyutu, doku ve örtülme gibi istatistiksel ipuçlarından derinlik kestirir. Mutlak ölçek için ek kalibrasyon veya referans gerekebilir.

LiDAR, radar ve kamera birleştirildiğinde geometri ile semantik bilgi birlikte kullanılabilir. Bunun için sensör koordinatlarının ve zaman damgalarının doğru eşlenmesi gerekir.

Epipolar geometri ve üçgenleme

İki kamera gözlemi arasındaki epipolar kısıt x̃′ᵀ F x̃ = 0 eşitliğiyle ifade edilir. İç kalibrasyon bilindiğinde özsel matris, göreli dönme ve ötelemenin yönünü kodlar; tek başına mutlak ölçek bilgisi sağlamaz. Kalibrasyonlu doğrultuların kesişiminden üç boyutlu nokta üçgenlenebilir, ancak ölçüm hatası nedeniyle ışınlar tam kesişmeyebilir. Parallaksın küçük olması ve noktaların görüntü kenarına yakın bulunması derinlik belirsizliğini artırabilir.

Doğrultulmuş stereo sistemde yaklaşık Z = fB/d ilişkisi kullanılır; f piksel cinsinden odak uzaklığı, B baz uzunluğu, d disparitedir. Küçük disparitede bir piksellik hata derinlikte büyük değişime neden olur. Tek kameradan derinlik kestiren öğrenilmiş sistemler geometrik veya istatistiksel öncüller kullanır ve mutlak ölçek konusunda ayrıca kalibrasyon gerektirebilir.

Stereo Derinlikte Hata Yayılımı

Stereo geometri için önce iki kameranın iç ve dış parametreleri kalibre edilir. Düzeltme işlemi eşleşen noktaların aynı epipolar doğrultuda aranmasını sağlar; ardından eşleşme maliyeti, yerel doku ve olası oklüzyonlara göre değerlendirilir. Soldan sağa ve sağdan sola bulunan ayrıklıkların tutarlılığı, örtülmüş veya güvenilmez piksellerin tespitinde kullanılabilir. Geçerli derinlik kestirimi için pozitif ve yeterli ayrıklık gerekir.

Basitleştirilmiş paralel kamera modelinde Z = fB/d olduğundan küçük ayrıklıklarda derinlik hatası hızla büyür. Birinci dereceden yaklaşık hata yayılımı |δZ| ≈ (fB/d²)|δd| biçimindedir. Bu nedenle uzaktaki nesneler için tek piksel ayrıklık yanlışı, yakındaki nesnelere göre daha büyük metrik derinlik hatası oluşturur. Derinlik haritasının tamamını aynı güven düzeyinde göstermek yerine eşleşme maliyeti, ayrıklık tutarlılığı ve kalibrasyon belirsizliğiyle birlikte güven maskesi üretilir.

Çoklu görüntü yeniden oluşturma

Çoklu bakıştan yapı kestiriminde kamera pozları ve üç boyutlu noktalar birlikte optimize edilebilir. Demet ayarlaması toplam yeniden izdüşüm hatasını düşürür; hatalı eşleşmeler, kalibrasyon belirsizliği ve yinelemeli optimizasyonun başlangıcı sonucu etkiler. Elde edilen nokta bulutu sahne yüzeyinin doğrudan ve eksiksiz ölçümü değildir. Örtülü bölgeler, doku eksikliği ve yansımalı yüzeylerde belirsizlik açıkça korunmalıdır.

Ünite 11: Yüz Analizi ve Biyometrik Görü

Yüz algılama, kişi algılama ve yüz tanıma birbirine bağlı fakat farklı görevlerdir. Algılama yüzün veya kişinin konumunu bulur; tanıma ise algılanan örnek ile kayıtlı temsiller arasındaki kimlik benzerliğini değerlendirir.

Algılama ve hizalama

Haar cascade ve HOG tabanlı yöntemler tarihsel olarak düşük hesaplama maliyetli çözümler sunmuştur. Güncel derin öğrenme tabanlı algılayıcılar farklı poz, ölçek ve örtülme koşullarında daha yüksek dayanıklılık sağlar.

Tanıma öncesinde yüz işaret noktaları kullanılarak göz, burun ve ağız geometrisi hizalanabilir. Bu işlem kırpma ve baş pozundan kaynaklanan varyasyonu azaltır.

Gömme tabanlı tanıma

Tanıma ağı hizalanmış yüzü bir embedding vektörüne dönüştürür. Aynı kişiye ait örneklerin birbirine yakın, farklı kişilerin ise uzak olması hedeflenir. Açık küme sistemlerinde veri tabanında bulunmayan kişi için de “eşleşme yok” kararı üretilebilir.

Yüz algılama kalitesi sonraki bütün aşamaları etkiler. Hatalı kırpma veya hizalama gömme vektörünün dağılımını değiştirebilir.

Biyometrik Karar Yapısı

Yüz tanıma biyometrik sistemlerin bir örneğidir. Biyometrik sistemlerde kayıt aşamasında kişiye ait örneklerden bir şablon veya öznitelik temsili oluşturulur; sonraki örnekler bu temsille karşılaştırılır.

Doğrulama işleminde soru “bu kişi iddia ettiği kişi mi?” biçimindedir ve çoğunlukla bire bir karşılaştırma yapılır. Kimlik belirleme işleminde ise “bu örnek kayıtlı kişilerden hangisine ait?” sorusu sorulur ve bire çok arama gerekir. İkinci problem aday sayısı büyüdükçe hem hesaplama hem yanlış eşleşme olasılığı bakımından farklı davranır.

Bir yüz görüntüsü önce algılanır, kalite açısından değerlendirilir, hizalanır ve öznitelik vektörüne dönüştürülür. Elde edilen benzerlik skoru tek başına kimlik değildir; karar eşiği, uygulamanın yanlış kabul ve yanlış ret maliyetine göre seçilir.

Biyometrik özelliklerin parola gibi değiştirilebilir olmaması veri koruma açısından ek sorumluluk doğurur. Ham görüntünün, şablonun ve karşılaştırma kaydının saklama süresi ile erişim yetkisi sistem tasarımının parçasıdır.

Ölçüm

False match ve false non-match oranları karar eşiğiyle birlikte değerlendirilir. Kamera türü, poz, aydınlatma, yaş ve veri dağılımı sonuçları etkileyebilir. Kimlik verisiyle çalışan sistemlerde erişim kontrolü ve veri minimizasyonu da mimarinin parçasıdır.

Görsel tespit ve kimlik karşılaştırması

Yüz algılama, görüntüde yüz olabilecek bölgeleri bulur; hizalama göz, burun ve diğer referans noktalarıyla poz değişimini azaltır. Yüz doğrulama iki örneğin aynı kişiye ait olup olmadığını sınar; tanıma bir aday kümesi veya açık kümede kimlik arar. Bu üç görev aynı ölçütle değerlendirilmez. Gömme vektörleri arasındaki yakınlık, kimlik eşitliğinin mantıksal ispatı değildir.

Yanlış kabul ve yanlış ret oranları karar eşiğine bağlıdır. Eşit hata oranı iki eğrinin kesiştiği işletim noktasını gösterir; her uygulamanın uygun eşiğini otomatik olarak vermez. Açık kümede kayıt dışı bir kişinin reddedilmesi ve yanlış kimlikle eşleşmesi ayrıca ölçülmelidir. Kişi başına görüntü sayısı, kamera açısı, yaşlanma, ışık ve örtünme koşulları veri bölme stratejisinde dikkate alınır.

Dayanıklılık, kalibrasyon ve adli sınır

Temsil kalitesi alt gruplar ve kayıt koşulları arasında eşit olmayabilir; toplam başarı yüzdesi uç durumları gizleyebilir. Sunum saldırıları, tekrar oynatma veya sentetik görsel kullanımı biyometrik benzerlikten ayrı bir savunma problemidir. Eşikler bağımsız veride kalibre edilmeli, benzerlik puanı bağlamdan koparılarak olasılık diye sunulmamalıdır. Adli karşılaştırmada uygun popülasyon, örnek kalitesi ve alternatif açıklamalar değerlendirilmeden kimlik konusunda kesin dil kullanılmaz.

Biyometrik Değerlendirmede İşletim Noktası

Yüz eşleştirme sisteminde algılama, hizalama, temsil çıkarımı ve eşik kararı ayrı hata kaynaklarıdır. Algılayıcı çözünürlüğü, yüz açısı, örtülme ve sıkıştırma bozulmaları temsili etkiler; bu koşullarda düşük benzerlik her zaman farklı kimlik, yüksek benzerlik de kesin eşitlik anlamına gelmez. Bir karşılaştırma skoru, uygun popülasyon ve kayıt koşulları altında kalibre edilmeden olasılık olarak yorumlanamaz.

Eşik belirlenirken gerçek eşleşme ve yanlış eşleşme dağılımları, test kimliklerinin eğitimde bulunmadığı bir düzende ölçülür. Belirli bir yanlış eşleşme üst sınırına karşılık elde edilen doğru eşleşme oranı işletim noktasını açıklar. Arama havuzu büyüdükçe tekil karşılaştırmada küçük görünen yanlış kabul olasılığı, en az bir yanlış aday getirme olasılığı bakımından önem kazanır. Yaş, çekim koşulu ve alt gruplar arasında hata farklılığı ayrı değerlendirilir; üretici görüntüler veya yüz düzenlemeleri üzerinde kaynak özgünlüğü doğrulanmadan kimlik sonucu kesinleştirilmez.

Ünite 12: Görüntü Üretimi, Yeniden Oluşturma ve Manipülasyon

Görüntü üretimi, geometrik yeniden örneklemeden öğrenilmiş üretici modellere kadar geniş bir yöntem ailesini kapsar. Ortak özellik, çıktı görüntüsünün doğrudan algılayıcı ölçümü yerine mevcut veriden veya öğrenilmiş dağılımdan türetilmesidir.

Yeniden örnekleme

Nearest-neighbour, bilinear ve bicubic yöntemler mevcut piksellerden yeni örnek konumları hesaplar. Ölçekleme, döndürme ve geometrik düzeltme işlemleri yeni bir örnekleme ızgarası üretir; kaynakta bulunmayan fiziksel ayrıntıyı kendiliğinden geri getirmez.

Üretici modeller

Autoencoder yapıları girdiyi sıkıştırılmış bir gizli temsile dönüştürür. Varyasyonel autoencoder'lar bu uzaya olasılıksal yapı kazandırır. GAN üretici ve ayırt edici ağların karşıt amaçlarla eğitilmesine dayanır.

Difüzyon modelleri, veriye kademeli gürültü ekleme sürecinin tersini öğrenerek yüksek kaliteli örnekler üretebilir. Bu modellerin çıktısı gerçekçi görünse de kaynak sahnenin doğrudan kaydı değildir.

Sentetik veri ve kimlik aktarımı

Sentetik veri, nadir sınıfları çoğaltmak ve fiziksel veri üretim maliyetini azaltmak için kullanılabilir. Eğitim verisine özgü sentetik izler, modelin gerçek dünyada genellemesini etkileyebilir.

Yüz değiştirme, kimlik aktarımı ve reenactment tekniklerinde veri kökeninin izlenmesi özellikle önemlidir. Görsel gerçekçilik, geometrik doğruluk ve içerik kökeni birbirinden ayrı özelliklerdir.

Üretici sistemlerin değerlendirilmesinde kalite metriği yanında veri kökeni, işaretleme, model sürümü ve gerçek veriyle karışma noktaları da izlenmelidir.

Geometrik yeniden örneklemede kalite ve sınırlar

Yeniden boyutlandırma veya geometrik dönüşümde nearest-neighbor, bilinear ve bicubic yöntemleri yalnız farklı "kalite seçenekleri" değildir; farklı yerel yeniden yapılandırma varsayımlarıdır. Küçültme öncesi anti-aliasing yapılmaması, yüksek frekans bileşenlerini yanlış düşük frekanslara katlayabilir. Büyütme ise kaynakta bulunmayan fiziksel ayrıntıyı ölçemez.

Inverse mapping hedef pikselden kaynak koordinata gitmeyi kolaylaştırır ve boş piksel problemini azaltır. Fakat tekrar tekrar yeniden örnekleme bulanıklığı veya ringing'i biriktirebilir. Mümkünse çoklu dönüşümler tek koordinat dönüşümünde birleştirilip kaynak görüntüden bir kez örneklenmelidir.

Üretim ve yeniden yapılandırma boru hattında kalite metriği yalnız piksel benzerliği değildir. Geometrik doğruluk, aliasing, kenar yapısı, renk tutarlılığı ve göreve özgü algısal ölçütler birlikte değerlendirilmelidir.

Yeniden yapılandırma ile üretim arasındaki sınır

Yeniden yapılandırma, gözlenmiş veri ve açık bir oluşum modeli üzerinden eksik veya bozulmuş niceliği kestirmeye çalışır. Üretim ise gözlem tarafından tekil olarak belirlenmeyen yeni içerik oluşturabilir.

Bu iki işlem aynı model ailesini kullanabilir; ayrım model adında değil iddianın epistemik sınırındadır. Bir diffusion modeli süper çözünürlük için de, serbest görüntü üretimi için de kullanılabilir. İlk durumda çıktı gözleme koşulludur; yine de yüksek frekans ayrıntısının bir bölümü model önselinden gelebilir.

Bilgisayar bilimi açısından güvenilir tasarım, sistemin hangi bileşeninin ölçüldüğünü, hangisinin deterministik dönüştürüldüğünü ve hangisinin model tarafından tahmin veya üretildiğini izlenebilir kılmalıdır.

Yeniden örnekleme ile üretimin ayrımı

En yakın komşu, çift doğrusal ve kübik enterpolasyon mevcut örneklerden yeni örnek konumları hesaplar. Öğrenilmiş süper çözünürlük, eksik yüksek frekans ayrıntısını eğitim verisinden öğrenilen koşullu dağılıma göre kestirir. Üretici yöntemler, kaynak görüntünün istatistiksel özellikleriyle uyumlu fakat kaynak sahnede hiç bulunmamış ayrıntılar oluşturabilir. Bu nedenle üretilmiş bir keskinliğin fiziksel delil değeri varsayılamaz.

Görüntü sentezinde örnekleme kuralları, gürültü süreçleri ve yeniden oluşturma kayıpları farklı kalite hedefleri oluşturur. Piksel kaybı düşük bir sonuç algısal olarak bulanık, algısal kaybı düşük bir sonuç ise ölçümsel olarak yanlış olabilir. Uygulamanın doğruluk ihtiyacı, hangi bozulma ölçütünün seçileceğini belirler.

Değişiklik izleri ve tespit sınırları

Birleştirme, kırpma, yeniden ölçekleme, bölgesel düzenleme ve yeniden kodlama görüntünün farklı istatistiksel izlerini değiştirebilir. Kenar uyumsuzluğu, yerel sıkıştırma örüntüsü veya tutarsız ışık ipucu tek başına manipülasyonun kesin kanıtı değildir. Dosyanın birden fazla kez kaydedilmesi, farklı kamera işlemleri ve platform dönüştürmeleri benzer izler oluşturabilir. Tespit sistemi yanlış olumlu ve yanlış olumsuz oranlarıyla, müdahale türüne göre ayrı doğrulanmalıdır.

Ünite 13: Adli Görüntü İncelemesi

Kaynak kökeni ve bütünlük

Adli görüntü incelemesinde özgün dosya korunur; erişim, kopyalama, dönüştürme ve analiz işlemlerinin kim tarafından hangi yöntemle yapıldığı kayıt altına alınır. Kriptografik özet dosyanın bayt bütünlüğünü sınamaya yarar; görüntünün sahnede gerçekten gerçekleşen olayı gösterdiğini tek başına ispatlamaz. Metadata yararlı bir ipucu olabilir fakat taşınabilir, değiştirilebilir veya yanlış kaydedilmiş olabilir. Kamera kaynağına ilişkin sensör izleri, optik bozulmalar ve kodlama örüntüleri kaynağı destekleyen olasılıksal bulgulardır; uygun karşılaştırma verisi ve alternatif açıklamalar gerektirir.

Ölçüm, yöntem geçerleme ve raporlama

Adli iyileştirme ile sunum amaçlı görüntü düzenlemesi ayrılmalıdır. Kontrast ayarı veya filtreleme gözlemlemeyi kolaylaştırsa da algılanan kenarların tümü gerçek fiziksel sınır olmayabilir. Analiz raporunda özgün dosya özellikleri, kullanılan dönüşümler, hesaplama parametreleri, doğrulama örnekleri, sınırlamalar ve gözlenen bulgular açıklanır. Bir görüntü üzerinde sonradan üretilen ayrıntı, yeni delil olarak sunulmaz.

İki rakip hipotezin karşılaştırılması gerekiyorsa değerlendirme veri kümesi ve hata ölçütü ilgili uygulama koşullarını temsil etmelidir. Olasılıkları açıkça kalibre edilmemiş benzerlik puanları hukuki kesinlik ifadesine dönüştürülmemelidir. Tek bir araç çıktısı yerine birbirinden bağımsız yöntemlerle doğrulama, raporun bilimsel gücünü artırabilir; yöntemlerin ortak hata kaynakları da dikkate alınır.

Algılayıcı ve sıkıştırma izlerinin karşılaştırılması

Bir görüntünün algılayıcı kökeni incelenirken sabit örüntü gürültüsü ve piksel duyarlılık farkları, görüntü içeriğinden ayrıştırılması zor olan zayıf ipuçları sağlayabilir. Sensör parmak izi yaklaşımında çok sayıda referans kayıt üzerinden ortak bileşenin kestirilmesi, tek görüntüden kimlik çıkarmaya göre farklı istatistiksel güven koşulları gerektirir. Düz yüzeyler, düşük pozlama, aşırı sıkıştırma ve yoğun son işlem sensör izlerini bastırabilir. Renk filtre dizisi ve yeniden oluşturma adımlarının bıraktığı örüntüler de görüntü işlem hattına bağlı olarak değişir.

Çift sıkıştırma, frekans katsayısı histogramlarında periyodik yapılar oluşturabilir; bu yapıların yokluğu düzenleme olmadığı anlamına gelmez. Aynı şekilde bir dosyada farklı sıkıştırma kalitesine sahip alanların bulunması, tek başına hangi işlemin kasıtlı olduğunu belirlemez. Karşılaştırma, ilgili formatın kodlama parametreleri ve gerçek kayıt cihazlarından alınmış uygun kontrol örnekleriyle yapılmalıdır. İnceleme sonucunda gözlenen bulgu, bunu destekleyen alternatif açıklamalar ve çıkarımın geçerlilik aralığı birbirinden ayrılmalıdır.

Adli Görüntüde Karşılaştırılabilir Deney

Manipülasyon şüphesi taşıyan bir dosyada ilk aşama bit düzeyinde koruma, biçim çözümleme, metadata ayrıştırma ve özgün görüntünün değişmeden saklanmasıdır. Ardından tutarsızlık hipotezleri ayrı ayrı sınanır: blok sınırları ve sıkıştırma izleri yeniden kodlamayı; yerel gürültü ve algılayıcı izlerindeki farklar kaynak veya işlem farklılığını; yeniden örnekleme düzenliliği geometrik değişikliği düşündürebilir. Hiçbiri tek başına kasıtlı müdahalenin zorunlu kanıtı değildir; farklı pozlama, yerel iyileştirme ve iletim işlemleri benzer bulgular üretebilir.

Karşılaştırma için mümkünse aynı kayıt zinciriyle üretilmiş bilinen özgün ve kontrollü değiştirilmiş örnekler kullanılır. Denetçinin incelediği veri ile eşik seçimi için kullanılan örnekler ayrılır. Sonuç raporu ham gözlem, işlem parametresi, alternatif açıklama ve sonuç güven sınırını ayrı tutar. Bilinmeyen cihaz veya sıkıştırma zincirine ait örnekte sayısal skorun başka bir popülasyondan doğrudan aktarılması bilimsel olarak gerekçelendirilemez.

Ünite 14: Gerçek Zamanlı Görü ve Üretim Mühendisliği

İşleme hattı ve zaman bütçesi

Bir görüntü hattının uçtan uca gecikmesi yakalama, kod çözme, yeniden boyutlandırma, model veya filtre çıkarımı, son işlem ve aktarım sürelerini içerir. Kare başına çıkarım süresinin düşük olması, kuyruklanan veya ağ üzerinden taşınan bir sistemin aynı gecikmeyle yanıt verdiğini göstermez. Geliş aralığı ve işleme süresi dengelenmediğinde kuyruk büyüyebilir. Gerçek zaman gereksinimi her kareyi mutlaka işlemek anlamına gelmez; kare düşürme politikası, sonuç tazeliği ve zaman damgası doğruluğu açıkça tanımlanır.

Bellek, paralellik ve doğruluk

Bellek yerleşimi, satır adımı, hizalama ve bit derinliği filtreleme hızını etkiler. İşlem yoğunluğu düşük aşamalarda bellek bant genişliği veya veri kopyalama, hesaplamadan daha pahalı olabilir. Çok çekirdekli yürütmede iş bölümü ve arabellek sahipliği veri yarışlarını önler; hızlandırıcı kullanımı küçük görüntülerde aktarım maliyeti nedeniyle yararsız olabilir. Nicemleme ve model budama, bütün veri dağılımlarında aynı doğruluğu korumaz; kalite–gecikme eğrisi ölçülmelidir.

Güvenilir sistem doğrulaması, normal iş yükü yanında yüksek çözünürlük, değişken kare hızı, bozuk dosya, eşzamanlı akış, uzun çalışma süresi ve geri basınç davranışını kapsar. Ortalama gecikmeye ek olarak yüksek yüzdelik gecikme ve kuyruk envanteri izlenir. Sonuçların tekrarlanabilirliği için giriş veri sürümü, kod sürümü, işlem sırası ve ölçüm ortamı belirtilir.

Kare İşleme Hatlarında Zaman ve Tampon Sahipliği

Bir akışın giriş hızı ile servis kapasitesi yalnız ortalamada eşitse anlık patlamalar kuyruk oluşturur. Çerçeveler edinim, kod çözme, geometrik ön işleme, çıkarım ve son işlem aşamalarında ayrı süreler geçirir; her aşamanın kuyruk sınırı ve bellek sahipliği tanımlanmalıdır. Çift tamponlama kopyalamayı azaltabilir ancak üretici tamponu tüketici okumayı bitirmeden değiştirmemelidir. GPU aktarımı eşzamansızsa tamamlanma olayı beklenmeden çıktı tamponunun tekrar kullanılması sessiz veri bozulmasına neden olabilir.

Canlı takipte bütün kareleri sonsuz kuyrukta biriktirmek yerine sonucun kabul edilebilir azami yaşı belirlenir. Eski karelerin atılması izleme modelinin zaman adımıyla tutarlı uygulanmalıdır; takip hızının her karede sabit zaman aralığı varsayması değişken kare hızında konum kaymasına yol açar. Deneyde ısınma sonrasındaki uçtan uca p50/p95/p99 gecikmeleri, kare yaş dağılımı, dropped-frame oranı, cihaz bellek tepe değeri ve doğruluk birlikte raporlanır. Verimi artıran optimizasyonun gerçekten daha taze ve doğru çıktı üretip üretmediği bu ölçütlerle belirlenir.

Kaynakça

• Digital Image Processing. Fourth Edition. 2018.
• Computer Vision: Algorithms and Applications. 2010 tarihli akademik taslak; temel kuramsal bölümler.
• Multiple View Geometry in Computer Vision. Second Edition. 2004.
• Understanding Deep Learning. 2023.