Shannon Kapasitesi ve Bilginin Geometrisi
Shannon kanal kapasitesi, yüksek boyutlu uzaylarda sinyal, gürültü ve ayırt edilebilir bölgeler üzerinden geometrik olarak yorumlanabilir. Aynı bakış, embedding ve gizli uzaylarda kapasite ile bozulmaya dayanıklılık arasındaki ilişkiyi anlamaya yardım eder.
C = B × log₂(1 + S/N)
Bu formül, bant sınırlı ve gürültülü bir kanaldan güvenilir biçimde aktarılabilecek en yüksek bilgi oranını belirler. Burada C kanal kapasitesini, B bant genişliğini, S/N ise sinyal-gürültü oranını ifade eder. Bilgi kuramının uygulama alanı haberleşme sistemleriyle sınırlı değildir. Öğrenilmiş haberleşme, veri sıkıştırma, bilgi darboğazı ve bazı temsil öğrenme çalışmaları da entropi, karşılıklı bilgi ve rate-distortion gibi kuramsal araçlardan yararlanır.
Kanal kapasitesinin geometrisi
Kanal kapasitesi geometrik olarak da açıklanabilir. J. R. Pierce, 1961 yılında yayımlanan An Introduction to Information Theory: Symbols, Signals and Noise adlı kitabında bilgi kuramını çok boyutlu uzaylar üzerinden ele alır. Bu yaklaşımda, belirli bir süre boyunca ölçülen sinyal çok boyutlu bir vektör olarak düşünülür. Sinyalin enerjisi vektörün uzunluğunu, gürültü ise bu vektörün çevresindeki belirsizlik bölgesini belirler.
Uygun durağanlık koşulları altında uzun sinyal ve gürültü dizileri, yüksek boyutlu uzayda belirli enerji kabuklarında yoğunlaşır. Bu davranış, üç boyutlu uzaydan edinilen sezgiyle doğrudan uyumlu değildir. kanal kapasitesinin geometrik açıklamasını mümkün kılan temel unsurlardan biridir.
Yüksek boyutlu küre paketleme
Geometrik yorumda kanal kapasitesi şu soruya indirgenir: Sinyal ve gürültünün oluşturduğu büyük hacmin içine, birbirine karışmadan kaç ayrı gürültü bölgesi yerleştirilebilir?
Bu, çok boyutlu bir küre paketleme problemidir. Her olası iletim sinyal uzayında bir bölgeyle ilişkilendirilebilir. Gürültünün oluşturduğu belirsizlik bölgeleri yeterince ayrık kaldığında alıcı, iletilen sinyali güvenilir biçimde ayırt edebilir. Yerleştirilebilen ayrık bölge sayısı, güvenilir biçimde taşınabilecek farklı mesajların sayısıyla ilişkilidir.
Temsil öğrenmeyle ortak çerçeve
Yapay zekada benzer bir geometrik sorun ortaya çıkar. Pek çok temsil öğrenme modeli verileri yüksek boyutlu bir embedding veya gizli uzayda temsil eder. Bu temsillerin, veri değişimi, gürültü ve diğer bozucu etkiler altında birbirinden ayırt edilebilir kalması istenir.
Her yapay zeka modeli Shannon kanal kapasitesi formülünü doğrudan kullanmaz. İlişki, bire bir matematiksel eşdeğerlikten çok, bilgi kuramına dayalı ortak bir geometrik bakış açısıdır. Shannon'un veri iletişiminde sorduğu soru yapay zekada farklı bir biçimde yeniden ortaya çıkar: Sınırlı bir temsil uzayına ne kadar bilgi, anlamını koruyarak ve bozucu etkilere rağmen ayırt edilebilir kalacak şekilde yerleştirilebilir?
