Shannon Entropy
Bir olasılık dağılımındaki ortalama bilgi belirsizliğini ölçen; kodlama, sıkıştırma, rastgelelik analizi ve adli veri incelemesinde kullanılan bilgi kuramı niceliği.
Shannon entropisi, bir olasılık dağılımındaki ortalama bilgi belirsizliğini bit cinsinden ölçen temel bilgi kuramı niceliğidir.
Tanım
Ayrık bir kaynak için Shannon entropy:
H(X) = - Σ p(x) log2 p(x)şeklindedir. Olasılık dağılımı daha dengeli hale geldikçe belirsizlik artar; tek bir sonucun olasılığı 1'e yaklaştığında entropy düşer.
Dosya ve İkili Veri Analizi
Byte dağılımı üzerinden hesaplanan yüksek entropy; sıkıştırılmış, şifrelenmiş veya doğal olarak yüksek düzensizliğe sahip veride görülebilir. Bu nedenle yüksek entropy tek başına şifreleme veya kötü amaçlı içerik kanıtı değildir.
Adli analizde entropy, başka yapısal işaretlerle birlikte aday bölge belirlemek için kullanılabilir.
Sıkıştırma ile İlişki
Entropy bir kaynağın ortalama bilgi miktarı hakkında teorik sınır verir; gerçek sıkıştırma oranı dosya modeli, kodlayıcı overhead'i ve bağımlılıkların nasıl temsil edildiğine de bağlıdır.