Calculateur d'entropie de Shannon

Comment utiliser le calculateur

1. Saisissez vos valeurs dans Probabilités ou effectifs par catégorie — une valeur par catégorie, séparées par des espaces, des points-virgules ou des retours à la ligne. Vous pouvez indiquer des probabilités (par ex. 0,5 ; 0,25 ; 0,25) ou des effectifs bruts (par ex. 40 ; 30 ; 20 ; 10) ; les virgules décimales sont acceptées.
2. Réglez le Type de données sur « Détection automatique » (des valeurs dont la somme vaut 1 sont traitées comme des probabilités), ou forcez « Probabilités (somme égale à 1) » ou « Effectifs / fréquences (normalisés) » si le choix automatique risque d'être ambigu.
3. Choisissez la Base du logarithme : 2 pour des bits, \(e\) pour des nats, ou 10 pour des dits (hartleys).
4. Lisez les résultats : l'entropie de Shannon H, l'entropie maximale possible \(H_{max}\) pour votre nombre de catégories, le rapport d'efficacité \(H/H_{max}\), et un détail catégorie par catégorie indiquant chaque probabilité, sa quantité d'information et sa contribution à H.

Qu'est-ce que l'entropie de Shannon ?

L'entropie de Shannon, introduite par Claude Shannon en 1948, quantifie l'incertitude d'une distribution de probabilités : la difficulté, en moyenne, de prédire quelle catégorie va se produire. C'est l'espérance mathématique de la surprise \(\log_b(1/p_i)\). Les événements rares surprennent (\(\log_b(1/p_i)\) élevé) mais surviennent rarement ; les événements fréquents surviennent souvent, mais surprennent à peine. L'entropie est l'équilibre des deux — la surprise moyenne pondérée par les probabilités.

La valeur de H est comprise entre 0 et \(\log_b k\). Elle vaut 0 quand un résultat est certain (un seul \(p_i = 1\)) et atteint son maximum quand la distribution est uniforme, car aucun pronostic n'est alors meilleur qu'un autre. En base 2, l'unité est le bit, et H se lit littéralement comme le nombre moyen de questions oui/non nécessaires pour identifier le résultat — l'idée à l'origine de la compression de données et de la théorie des codes. En base \(e\), l'unité est le nat, courante en apprentissage automatique et en physique ; la base 10 donne des dits. Changer de base ne fait que recalibrer H : les classements de distributions et le rapport \(H/H_{max}\) restent identiques.

L'efficacité \(H/H_{max}\) (aussi appelée entropie normalisée ou entropie relative) indique à quel point votre distribution est proche de la plus incertaine possible. Dans l'exemple ci-dessus, 92,32 % signifie que les quatre marques se partagent le marché de façon assez équilibrée. Une valeur proche de 0 signifie que le résultat est presque prévisible. Comme ce rapport est sans dimension, c'est le moyen le plus pratique de comparer l'incertitude entre distributions comportant des nombres de catégories différents — ce que le H brut ne permet pas, puisque \(H_{max}\) croît avec \(k\).

Hypothèses, limites et conseils

• Distribution complète : les valeurs doivent couvrir toutes les catégories. Les probabilités doivent sommer à 1 (un léger écart d'arrondi est corrigé automatiquement) ; les effectifs sont normalisés pour qu'il en soit ainsi.
• Probabilités nulles : par convention \(0 \cdot \log 0 = 0\), donc les catégories vides ne contribuent en rien — mais attention : une catégorie de probabilité nulle augmente quand même \(H_{max}\) en accroissant \(k\), ce qui abaisse votre efficacité.
• Des catégories, pas des grandeurs : l'entropie mesure l'incertitude sur laquelle des catégories se produit, pas la taille des valeurs. Elle ignore l'ordre, l'espacement et les libellés des catégories : ce n'est donc pas une mesure de variance — pour cela, consultez le calculateur d'asymétrie et d'aplatissement.
• Données d'échantillon : avec de petits échantillons, l'entropie estimée à partir d'effectifs est biaisée vers le bas. La correction de biais de Miller–Madow ajoute \((k-1)/(2n\ln b)\), où \(n\) est l'effectif total — elle vaut la peine d'être appliquée si vos effectifs sont faibles.
• Mesures liées : les mêmes termes en \(p \log p\) apparaissent dans l'entropie croisée et la divergence de Kullback–Leibler, utilisées pour comparer une distribution à une référence. L'entropie d'une répartition uniforme est directement liée à la loi uniforme, et on l'applique couramment à une matrice de confusion pour évaluer l'incertitude d'un classifieur. Pour comparer une distribution observée à une distribution attendue, le test de Kruskal–Wallis est une autre option.

Aide-mémoire : unités et entropie maximale

Pour convertir d'une unité à l'autre, utilisez \(H_{\text{bits}} = H_{\text{nats}} / \ln 2\) ou \(H_{\text{bits}} = H_{\text{dits}} \cdot \log_2 10\). Si vous hésitez sur la base à choisir, la base 2 est la valeur sûre par défaut — le bit est l'unité la plus couramment utilisée.