Shannon Kanal Kapasitesinden Yapay Zekâya Bilginin Geometrisi
Shannon kanal kapasitesi, yüksek boyutlu uzaylarda sinyal, gürültü ve ayırt edilebilir bölgelerin geometrisi üzerinden yorumlanabilir. Bu bakış, temsil öğrenmedeki embedding ve gizli uzayların sınırlı kapasite ile bozulmalara dayanıklılık sorunlarıyla ortak bir çerçeve sunar.
C = B × log₂(1 + S/N)
Bu formül, bant sınırlı ve gürültülü bir kanaldan güvenilir biçimde aktarılabilecek en yüksek bilgi oranını belirler. Burada C kanal kapasitesini, B bant genişliğini, S/N ise sinyal-gürültü oranını ifade eder. Bilgi kuramının uygulama alanı haberleşme sistemleriyle sınırlı değildir; öğrenilmiş haberleşme, veri sıkıştırma, bilgi darboğazı ve bazı temsil öğrenme çalışmaları da entropi, karşılıklı bilgi ve rate-distortion gibi kuramsal araçlardan yararlanır.
Kanal kapasitesinin geometrik yorumu
Kanal kapasitesi geometrik olarak da açıklanabilir. J. R. Pierce, 1961 yılında yayımlanan An Introduction to Information Theory: Symbols, Signals and Noise adlı kitabında bilgi kuramını çok boyutlu uzaylar üzerinden ele alır. Bu yaklaşımda, belirli bir süre boyunca ölçülen sinyal çok boyutlu bir vektör olarak düşünülür. Sinyalin enerjisi vektörün uzunluğunu, gürültü ise bu vektörün çevresindeki belirsizlik bölgesini belirler.
Uygun durağanlık koşulları altında uzun sinyal ve gürültü dizileri, yüksek boyutlu uzayda belirli enerji kabuklarında yoğunlaşır. Bu davranış, üç boyutlu uzaydan edinilen sezgiyle doğrudan uyumlu değildir. Bununla birlikte, kanal kapasitesinin geometrik açıklamasını mümkün kılan temel unsurlardan biridir.
Yüksek boyutlu küre paketleme problemi
Geometrik yorumda kanal kapasitesi şu soruya indirgenir: Sinyal ve gürültünün oluşturduğu büyük hacmin içine, birbirine karışmadan kaç ayrı gürültü bölgesi yerleştirilebilir?
Bu, çok boyutlu bir küre paketleme problemidir. Her olası iletim, sinyal uzayında bir bölgeyle ilişkilendirilebilir; gürültünün oluşturduğu belirsizlik bölgeleri yeterince ayrık kaldığında alıcı, iletilen sinyali güvenilir biçimde ayırt edebilir. Yerleştirilebilen ayrık bölge sayısı, güvenilir biçimde taşınabilecek farklı mesajların sayısıyla ilişkilidir.
Temsil öğrenme ile ortak geometrik çerçeve
Yapay zekâda benzer bir geometrik sorun ortaya çıkar. Pek çok temsil öğrenme modeli verileri yüksek boyutlu bir embedding veya gizli uzayda temsil eder. Bu temsillerin, veri değişimi, gürültü ve diğer bozucu etkiler altında birbirinden ayırt edilebilir kalması istenir.
Her yapay zekâ modeli Shannon kanal kapasitesi formülünü doğrudan kullanmaz. İlişki, bire bir matematiksel eşdeğerlikten çok, bilgi kuramına dayalı ortak bir geometrik bakış açısıdır. Shannon’un veri iletişiminde sorduğu soru yapay zekâda farklı bir biçimde yeniden ortaya çıkar: Sınırlı bir temsil uzayına ne kadar bilgi, anlamını koruyarak ve bozucu etkilere rağmen ayırt edilebilir kalacak şekilde yerleştirilebilir?
