Shannon-Entropie-Rechner

So bedienen Sie den Rechner

1. Geben Sie Ihre Werte unter Wahrscheinlichkeiten oder Häufigkeiten je Kategorie ein — einen Wert pro Kategorie, getrennt durch Leerzeichen, Semikolons oder Zeilenumbrüche. Sie können Wahrscheinlichkeiten (z. B. 0,5; 0,25; 0,25) oder rohe Häufigkeiten (z. B. 40; 30; 20; 10) eingeben; Dezimalkommas werden akzeptiert.
2. Stellen Sie den Eingabetyp auf „Automatisch erkennen“ (Werte mit einer Summe von 1 werden als Wahrscheinlichkeiten behandelt), oder wählen Sie ausdrücklich „Wahrscheinlichkeiten (Summe muss 1 ergeben)“ bzw. „Häufigkeiten (werden normiert)“, falls die automatische Erkennung nicht eindeutig ist.
3. Wählen Sie die Basis des Logarithmus: 2 für Bits, \(e\) für Nats oder 10 für Dits (Hartley).
4. Lesen Sie die Ergebnisse ab: die Shannon-Entropie H, die maximal mögliche Entropie \(H_{max}\) für Ihre Anzahl an Kategorien, das Verhältnis Wirkungsgrad \(H/H_{max}\) sowie eine Aufschlüsselung je Kategorie mit Wahrscheinlichkeit, Informationsgehalt und Anteil an H.

Was ist die Shannon-Entropie?

Die Shannon-Entropie, die Claude Shannon 1948 einführte, quantifiziert die Unsicherheit einer Wahrscheinlichkeitsverteilung: also wie schwer es im Durchschnitt ist, vorherzusagen, welche Kategorie eintreten wird. Sie ist der Erwartungswert der Überraschung \(\log_b(1/p_i)\). Seltene Ereignisse sind überraschend (großes \(\log_b(1/p_i)\)), kommen aber selten vor; häufige Ereignisse treten oft auf, sind aber kaum überraschend. Die Entropie ist die Balance aus beidem — die mit den Wahrscheinlichkeiten gewichtete durchschnittliche Überraschung.

Der Wert von H liegt zwischen 0 und \(\log_b k\). Er ist 0, wenn ein Ergebnis sicher eintritt (ein einzelnes \(p_i = 1\)), und maximal bei einer Gleichverteilung, denn dann ist kein Tipp besser als jeder andere. Mit Basis 2 lautet die Einheit Bits, und H lässt sich wörtlich als die erwartete Anzahl Ja/Nein-Fragen lesen, die nötig ist, um das Ergebnis festzulegen — die Grundidee der Datenkompression und Kodierungstheorie. Mit Basis \(e\) lautet die Einheit Nats, was in Machine Learning und Physik verbreitet ist; Basis 10 ergibt Dits. Ein Wechsel der Basis skaliert H lediglich um: Rangfolgen von Verteilungen und das Verhältnis \(H/H_{max}\) bleiben unverändert.

Der Wirkungsgrad \(H/H_{max}\) (auch normierte oder relative Entropie genannt) zeigt Ihnen, wie nahe Ihre Verteilung an der maximal unsicheren liegt. Im obigen Beispiel bedeuten 92,32 %, dass sich die vier Marken den Markt ziemlich gleichmäßig teilen. Ein Wert nahe 0 bedeutet, dass das Ergebnis fast vorhersehbar ist. Weil das Verhältnis dimensionslos ist, eignet es sich am besten, um Unsicherheit über Verteilungen mit unterschiedlich vielen Kategorien hinweg zu vergleichen — etwas, das rohes H nicht leisten kann, da \(H_{max}\) mit \(k\) wächst.

Voraussetzungen, Grenzen und Hinweise

• Vollständige Verteilung: Die Werte müssen alle Kategorien abdecken. Wahrscheinlichkeiten müssen sich zu 1 summieren (winzige Rundungsabweichungen werden automatisch korrigiert); Häufigkeiten werden so normiert, dass dies der Fall ist.
• Null-Wahrscheinlichkeiten: Konventionsgemäß gilt \(0 \cdot \log 0 = 0\), leere Kategorien tragen also nichts bei — beachten Sie aber, dass eine Kategorie mit Wahrscheinlichkeit null dennoch \(H_{max}\) erhöht, weil sie \(k\) vergrößert, und dadurch Ihren Wirkungsgrad senkt.
• Kategorien, keine Größen: Die Entropie misst die Unsicherheit darüber, welche Kategorie eintritt, nicht die Höhe der Werte. Sie ignoriert Reihenfolge, Abstände und Bezeichnungen der Kategorien und ist daher kein Streuungsmaß — dafür siehe den Rechner für Schiefe und Wölbung.
• Stichprobendaten: Bei kleinen Stichproben ist die aus Häufigkeiten geschätzte Entropie nach unten verzerrt. Die im Plugin übliche Bias-Korrektur (Miller–Madow) addiert \((k-1)/(2n\ln b)\), wobei \(n\) die Gesamtzahl ist — sinnvoll, wenn Ihre Häufigkeiten klein sind.
• Verwandte Kennzahlen: Dieselben \(p \log p\)-Terme tauchen in der Kreuzentropie und in der Kullback-Leibler-Divergenz auf, mit denen eine Verteilung gegen eine Referenz verglichen wird. Die maximale Entropie einer Verteilung hängt unmittelbar mit der Gleichverteilung zusammen, und sie wird regelmäßig auf eine Konfusionsmatrix angewendet, um die Unsicherheit eines Klassifikators zu beurteilen. Zum Vergleich einer beobachteten mit einer erwarteten Verteilung ist auch der Kruskal-Wallis-Test eine Option.

Kurzübersicht: Einheiten und maximale Entropie

Zum Umrechnen zwischen den Einheiten nutzen Sie \(H_{\text{Bits}} = H_{\text{Nats}} / \ln 2\) bzw. \(H_{\text{Bits}} = H_{\text{Dits}} \cdot \log_2 10\). Wenn Sie unsicher sind, welche Basis Sie wählen sollen, ist Basis 2 die sicherste Standardeinstellung — Bits sind die am häufigsten verwendete Einheit.