Shannon Entropi Hesaplayıcı

Hesaplayıcı Nasıl Kullanılır?

1. Değerlerinizi Kategori olasılıkları veya sayımları alanına girin — kategori başına bir değer; boşluk, noktalı virgül ya da satır sonuyla ayırın. Olasılık (örn. 0,5; 0,25; 0,25) veya ham sayım (örn. 40; 30; 20; 10) yazabilirsiniz; ondalıklı virgül de kabul edilir.
2. Giriş türünü "Otomatik algıla" olarak bırakın (toplamı 1 olan değerler olasılık kabul edilir) ya da otomatik seçim belirsiz kalıyorsa "Olasılıklar (toplamı 1 olmalı)" veya "Sayım / frekans (normalize edilir)" seçeneğini elle belirleyin.
3. Logaritma tabanını seçin: bit için 2, nat için \(e\), dit (hartley) için 10.
4. Sonuçları okuyun: Shannon entropisi H, kategori sayınıza göre mümkün olan en yüksek entropi \(H_{max}\), verimlilik oranı \(H/H_{max}\) ve her olasılığı, bilgi içeriğini ile H'ye katkısını gösteren kategori bazlı döküm.

Shannon Entropisi Nedir?

Claude Shannon'ın 1948'de ortaya koyduğu Shannon entropisi, bir olasılık dağılımının belirsizliğini ölçer: ortalama olarak hangi kategorinin gerçekleşeceğini öngürmenin ne kadar zor olduğunu. Sürpriz değeri \(\log_b(1/p_i)\) ifadesinin beklenen değeridir. Nadir olaylar şaşırtıcıdır (büyük \(\log_b(1/p_i)\)) ama seyrek gerçekleşir; sık olaylar sık gerçekleşir ama pek şaşırtmaz. Entropi ikisinin dengesidir — olasılıkla ağırlıklandırılmış ortalama sürpriz.

H'nin değeri 0 ile \(\log_b k\) arasında değişir. Bir sonuç kesinse (tek bir \(p_i = 1\)) 0 olur; dağılım düzgün olduğunda ise maksimumdur, çünkü o zaman hiçbir tahmin diğerinden daha iyi değildir. Taban 2 ile birim bit'tir ve H, sonucu belirlemek için gereken evet/hayır sorularının beklenen sayısı olarak doğrudan okunabilir — veri sıkıştırma ve kodlama kuramının ardındaki fikir budur. Taban \(e\) ile birim nat'tır; makine öğrenmesi ve fizikte yaygındır. Taban 10 ise dit verir. Tabanı değiştirmek yalnızca H'nin ölçeğini değiştirir: dağılımların sıralaması ve \(H/H_{max}\) oranı aynı kalır.

Verimlilik \(H/H_{max}\) (normalize edilmiş entropi ya da göreli entropi olarak da adlandırılır), dağılımınızın mümkün olan en belirsiz dağılıma ne kadar yakın olduğunu gösterir. Yukarıdaki örnekteki %92,32, dört markanın pazarı oldukça dengeli paylaştığı anlamına gelir. 0'a yakın bir değer, sonucun neredeyse öngörülebilir olduğu anlamına gelir. Bu oran boyutsuz olduğundan, kategori sayısı farklı dağılımlar arasında belirsizliği karşılaştırmanın en pratik yoludur — ham H bunu başaramaz, çünkü \(H_{max}\), \(k\) ile birlikte büyür.

Varsayımlar, Sınırlamalar ve İpuçları

• Eksiksiz dağılım: değerler tüm kategorileri kapsamalıdır. Olasılıkların toplamı 1 olmalıdır (küçük yuvarlama sapmaları otomatik düzeltilir); sayımlar ise toplamları 1 olacak biçimde normalize edilir.
• Sıfır olasılıklar: gelenek uyarınca \(0 \cdot \log 0 = 0\) kabul edilir; bu nedenle boş kategoriler hiçbir katkı yapmaz — ancak sıfır olasılıklı bir kategorinin \(k\)'yı artırarak \(H_{max}\)'ı yükselttiğini, dolayısıyla verimliliğinizi düşürdüğünü unutmayın.
• Kategoriler, büyüklükler değil: entropi, hangisi kategorinin gerçekleşeceğine dair belirsizliği ölçer, değerlerin büyüklüğünü değil. Kategori sırasını, aralıklarını ve etiketlerini yok sayar; bu yüzden bir varyans ölçüsü değildir — bunun için Çarpıklık ve Basıklık hesaplayıcısına bakın.
• Örneklem verisi: küçük örneklemelerde sayımlardan tahmin edilen entropi aşağı doğru yanlıdır. Miller–Madow yanlılık düzeltmesi, toplam sayım \(n\) olduğunda \((k-1)/(2n\ln b)\) kadar ekler — sayımlarınız küçükse uygulamaya değer.
• İlgili ölçüler: aynı \(p \log p\) terimleri, bir dağılımı bir referans dağılımla karşılaştırmak için kullanılan çapraz entropi ve Kullback–Leibler ıraksamasında da yer alır. Düzgün bir yayılımın entropisi doğrudan Düzgün Dağılım ile ilişkilidir ve sınıflandırıcı belirsizliğini değerlendirmek için düzenli olarak karmaşıklık matrisine uygulanır. Gözlemlenen bir dağılımı beklenen bir dağılımla karşılaştırmak için Kruskal–Wallis testi de bir seçenektir.

Hızlı Bakış: Birimler ve Maksimum Entropi

Birimler arasında dönüşüm için \(H_{\text{bit}} = H_{\text{nat}} / \ln 2\) veya \(H_{\text{bit}} = H_{\text{dit}} \cdot \log_2 10\) bağıntılarını kullanın. Hangi tabanı seçeceğinizden emin değilseniz 2 en güvenli varsayılandır — bit, en yaygın raporlanan birimdir.