Görüntüde Üretim ve Tıpkıyapım

Görüntü üretimi, geometrik yeniden örneklemeden öğrenilmiş üretici modellere kadar geniş bir yöntem ailesini kapsar. Ortak özellik, çıktı görüntüsünün doğrudan algılayıcı ölçümü yerine mevcut veriden veya öğrenilmiş dağılımdan türetilmesidir.

Yeniden örnekleme

Nearest-neighbour, bilinear ve bicubic yöntemler mevcut piksellerden yeni örnek konumları hesaplar. Ölçekleme, döndürme ve geometrik düzeltme işlemleri yeni bir örnekleme ızgarası üretir; kaynakta bulunmayan fiziksel ayrıntıyı kendiliğinden geri getirmez.

Üretici modeller

Autoencoder yapıları girdiyi sıkıştırılmış bir gizli temsile dönüştürür. Varyasyonel autoencoder'lar bu uzaya olasılıksal yapı kazandırır. GAN üretici ve ayırt edici ağların karşıt amaçlarla eğitilmesine dayanır.

Difüzyon modelleri, veriye kademeli gürültü ekleme sürecinin tersini öğrenerek yüksek kaliteli örnekler üretebilir. Bu modellerin çıktısı gerçekçi görünse de kaynak sahnenin doğrudan kaydı değildir.

Sentetik veri ve kimlik aktarımı

Sentetik veri, nadir sınıfları çoğaltmak ve fiziksel veri üretim maliyetini azaltmak için kullanılabilir. Eğitim verisine özgü sentetik izler, modelin gerçek dünyada genellemesini etkileyebilir.

Yüz değiştirme, kimlik aktarımı ve reenactment tekniklerinde veri kökeninin izlenmesi özellikle önemlidir. Görsel gerçekçilik, geometrik doğruluk ve içerik kökeni birbirinden ayrı özelliklerdir.

Üretici sistemlerin değerlendirilmesinde kalite metriği yanında veri kökeni, işaretleme, model sürümü ve gerçek veriyle karışma noktaları da izlenmelidir.

Üst konu: Görüntü ve Ses İşleme

Geometrik yeniden örneklemede kalite ve sınırlar

Yeniden boyutlandırma veya geometrik dönüşümde nearest-neighbor, bilinear ve bicubic yöntemleri yalnız farklı "kalite seçenekleri" değildir; farklı yerel yeniden yapılandırma varsayımlarıdır. Küçültme öncesi anti-aliasing yapılmaması, yüksek frekans bileşenlerini yanlış düşük frekanslara katlayabilir. Büyütme ise kaynakta bulunmayan fiziksel ayrıntıyı ölçemez.

Inverse mapping hedef pikselden kaynak koordinata gitmeyi kolaylaştırır ve boş piksel problemini azaltır. Fakat tekrar tekrar yeniden örnekleme bulanıklığı veya ringing'i biriktirebilir. Mümkünse çoklu dönüşümler tek koordinat dönüşümünde birleştirilip kaynak görüntüden bir kez örneklenmelidir.

Üretim ve yeniden yapılandırma boru hattında kalite metriği yalnız piksel benzerliği değildir. Geometrik doğruluk, aliasing, kenar yapısı, renk tutarlılığı ve göreve özgü algısal ölçütler birlikte değerlendirilmelidir.

Yeniden yapılandırma ile üretim arasındaki sınır

Yeniden yapılandırma, gözlenmiş veri ve açık bir oluşum modeli üzerinden eksik veya bozulmuş niceliği kestirmeye çalışır. Üretim ise gözlem tarafından tekil olarak belirlenmeyen yeni içerik oluşturabilir.

Bu iki işlem aynı model ailesini kullanabilir; ayrım model adında değil iddianın epistemik sınırındadır. Bir diffusion modeli süper çözünürlük için de, serbest görüntü üretimi için de kullanılabilir. İlk durumda çıktı gözleme koşulludur; yine de yüksek frekans ayrıntısının bir bölümü model önselinden gelebilir.

Bilgisayar bilimi açısından güvenilir tasarım, sistemin hangi bileşeninin ölçüldüğünü, hangisinin deterministik dönüştürüldüğünü ve hangisinin model tarafından tahmin veya üretildiğini izlenebilir kılmalıdır.

Kaynakça

• Rafael C. Gonzalez; Richard E. Woods. Digital Image Processing, Fourth Edition. Pearson, 2018.

• Richard Szeliski. Computer Vision: Algorithms and Applications, Second Edition. Springer, 2022.