Calculadora de entropía de Shannon

Cómo usar la calculadora

1. Introduce tus valores en Probabilidades o recuentos por categoría: uno por categoría, separados por espacios, punto y coma o saltos de línea. Puedes escribir probabilidades (p. ej. 0,5; 0,25; 0,25) o recuentos en bruto (p. ej. 40; 30; 20; 10); se aceptan tanto la coma como el punto decimal.
2. Configura el Tipo de entrada en «Detección automática» (los valores que suman 1 se tratan como probabilidades), o fuerza «Probabilidades (deben sumar 1)» o «Recuentos / frecuencias (se normalizan)» si la elección automática pudiera dar lugar a ambigüedad.
3. Elige la Base del logaritmo: 2 para bits, \(e\) para nats o 10 para dits (hartleys).
4. Lee los resultados: la entropía de Shannon H, la entropía máxima posible \(H_{max}\) para tu número de categorías, el índice de eficiencia \(H/H_{max}\) y un desglose por categoría con cada probabilidad, su contenido de información y su aportación a H.

¿Qué es la entropía de Shannon?

La entropía de Shannon, introducida por Claude Shannon en 1948, cuantifica la incertidumbre de una distribución de probabilidad: lo difícil que resulta, en promedio, predecir qué categoría va a ocurrir. Es el valor esperado de la sorpresa \(\log_b(1/p_i)\). Los sucesos raros sorprenden (\(\log_b(1/p_i)\) grande) pero ocurren pocas veces; los frecuentes ocurren a menudo pero apenas sorprenden. La entropía es el equilibrio entre ambos: la sorpresa media ponderada por probabilidad.

El valor de H va de 0 a \(\log_b k\). Vale 0 cuando un resultado es seguro (un único \(p_i = 1\)) y es máximo cuando la distribución es uniforme, porque entonces ninguna apuesta es mejor que otra. Con base 2 las unidades son bits, y H puede leerse literalmente como el número esperado de preguntas de sí/no necesarias para averiguar el resultado: la idea que sustenta la compresión de datos y la teoría de la codificación. Con base \(e\) las unidades son nats, habituales en aprendizaje automático y física; con base 10 se obtienen dits. Cambiar la base solo reescala H: las clasificaciones entre distribuciones y el cociente \(H/H_{max}\) no varían.

La eficiencia \(H/H_{max}\) (también llamada entropía normalizada o entropía relativa) indica lo cerca que está tu distribución de la más incierta posible. En el ejemplo anterior, el 92,32 % significa que las cuatro marcas se reparten el mercado de forma bastante equilibrada. Un valor cercano a 0 indica que el resultado es casi predecible. Al ser adimensional, este cociente es la forma más cómoda de comparar la incertidumbre entre distribuciones con distinto número de categorías, algo que H en bruto no permite, ya que \(H_{max}\) crece con \(k\).

Supuestos, limitaciones y consejos

• Distribución completa: los valores deben cubrir todas las categorías. Las probabilidades tienen que sumar 1 (se corrige automáticamente una pequeña desviación por redondeo); los recuentos se normalizan para que así sea.
• Probabilidades cero: por convención \(0 \cdot \log 0 = 0\), de modo que las categorías vacías no aportan nada; pero ten en cuenta que una categoría con probabilidad cero sigue aumentando \(H_{max}\) al incrementar \(k\), lo cual reduce tu eficiencia.
• Categorías, no magnitudes: la entropía mide la incertidumbre sobre qué categoría ocurre, no el tamaño de los valores. Ignora el orden, el espaciado y las etiquetas de las categorías, así que no es una medida de dispersión; para eso, consulta la calculadora de asimetría y curtosis.
• Datos muestrales: con muestras pequeñas, la entropía estimada a partir de recuentos queda sesgada a la baja. La corrección de sesgo tipo Miller–Madow añade \((k-1)/(2n\ln b)\), siendo \(n\) el recuento total: conviene aplicarla si tus recuentos son pequeños.
• Medidas relacionadas: los mismos términos \(p \log p\) aparecen en la entropía cruzada y en la divergencia de Kullback–Leibler, usadas para comparar una distribución con una de referencia. La entropía de un reparto uniforme se relaciona directamente con la distribución uniforme, y se aplica con frecuencia a una matriz de confusión para evaluar la incertidumbre de un clasificador. Para comparar una distribución observada con una esperada, la prueba de Kruskal–Wallis es otra opción.

Referencia rápida: unidades y entropía máxima

Para convertir entre unidades, usa \(H_{\text{bits}} = H_{\text{nats}} / \ln 2\) o \(H_{\text{bits}} = H_{\text{dits}} \cdot \log_2 10\). Si dudas sobre qué base elegir, la base 2 es la opción más segura: los bits son la unidad más utilizada en la literatura.