Calculadora de Entropia de Shannon
Calcule a entropia de Shannon de qualquer conjunto de probabilidades ou contagens. Insira os valores de cada categoria, escolha a base do logaritmo (bits, nats ou dits) e obtenha H, a entropia máxima e a razão de eficiência.
Meça a incerteza de uma distribuição
Fórmula da entropia de Shannon
Onde:
- \(p_i\) — probabilidade da categoria \(i\) (as contagens são normalizadas: \(p_i = n_i / n\))
- \(k\) — número de categorias
- \(b\) — base do logaritmo: 2 dá bits, \(e\) dá nats, 10 dá dits (hartleys)
A fórmula expressa a surpresa média, ou o conteúdo de informação, de um resultado sorteado dessa distribuição: cada termo pondera a informação \(\log_b(1/p_i)\) de uma categoria pela frequência com que ela ocorre.
Entropia de Shannon – Exemplo de cálculo
Exemplo: uma pesquisa com 100 pessoas perguntou qual das quatro marcas era a favorita, com contagens de 40, 30, 20 e 10. As contagens são normalizadas para as probabilidades \(p = (0.4,\ 0.3,\ 0.2,\ 0.1)\), e a base é 2 (bits).
\[ H = -(0.4\log_2 0.4 + 0.3\log_2 0.3 + 0.2\log_2 0.2 + 0.1\log_2 0.1) \]
\[ H = 0.5288 + 0.5211 + 0.4644 + 0.3322 = 1.8464 \text{ bits} \]
\[ H_{max} = \log_2 4 = 2 \text{ bits}, \quad \frac{H}{H_{max}} = \frac{1.8464}{2} = 0.9232 \]
Resultado: \(H \approx 1.8464\) bits, ou seja, 92,32% do máximo — uma distribuição próxima da uniforme em suas quatro categorias.
Como usar a calculadora
- Digite os seus valores em Probabilidades ou contagens por categoria — um por categoria, separados por espaços, ponto e vírgula ou quebras de linha. Você pode digitar probabilidades (ex.: 0,5; 0,25; 0,25) ou contagens brutas (ex.: 40; 30; 20; 10); vírgulas decimais são aceitas.
- Defina o Tipo de entrada como “Detecção automática” (valores que somam 1 são tratados como probabilidades) ou force “Probabilidades (devem somar 1)” ou “Contagens / frequências (normalizadas)” se a escolha automática puder gerar ambiguidade.
- Escolha a Base do logaritmo: 2 para bits, \(e\) para nats ou 10 para dits (hartleys).
- Leia os resultados: a entropia de Shannon H, a entropia máxima possível \(H_{max}\) para o seu número de categorias, a razão de eficiência \(H/H_{max}\) e um detalhamento por categoria, mostrando cada probabilidade, o seu conteúdo de informação e a sua contribuição para H.
O que é a entropia de Shannon?
A entropia de Shannon, introduzida por Claude Shannon em 1948, quantifica a incerteza de uma distribuição de probabilidades: o quão difícil é, em média, prever qual categoria vai ocorrer. Trata-se do valor esperado da surpresa (surprisal) \(\log_b(1/p_i)\). Eventos raros surpreendem (grande \(\log_b(1/p_i)\)), mas acontecem pouco; eventos comuns acontecem com frequência, mas quase não surpreendem. A entropia é o equilíbrio entre os dois — a surpresa média ponderada pelas probabilidades.
O valor de H varia de 0 a \(\log_b k\). Ele é 0 quando um resultado é certo (um único \(p_i = 1\)) e máximo quando a distribuição é uniforme, pois nesse caso nenhum palpite é melhor que outro. Com base 2, a unidade é o bit, e H pode ser lido literalmente como o número esperado de perguntas de sim/não necessárias para determinar o resultado — a ideia por trás da compressão de dados e da teoria dos códigos. Com base \(e\), a unidade é o nat, comum em aprendizado de máquina e em física; a base 10 dá dits. Mudar a base apenas reescala H: o ranking das distribuições e a razão \(H/H_{max}\) permanecem os mesmos.
A eficiência \(H/H_{max}\) (também chamada de entropia normalizada ou entropia relativa) mostra o quão próxima a sua distribuição está da mais incerta possível. No exemplo acima, 92,32% indica que as quatro marcas dividem o mercado de forma bastante equilibrada. Um valor próximo de 0 significa que o resultado é quase previsível. Por ser adimensional, essa razão é a forma mais prática de comparar a incerteza entre distribuições com números diferentes de categorias — algo que o H puro não consegue fazer, já que \(H_{max}\) cresce com \(k\).
Premissas, limitações e dicas
- Distribuição completa: os valores devem cobrir todas as categorias. As probabilidades devem somar 1 (pequenos desvios de arredondamento são corrigidos automaticamente); as contagens são normalizadas para que isso aconteça.
- Probabilidades zero: por convenção, \(0 \cdot \log 0 = 0\), então categorias vazias não contribuem com nada — mas note que uma categoria com probabilidade zero ainda aumenta \(H_{max}\) ao elevar \(k\), o que reduz a sua eficiência.
- Categorias, não magnitudes: a entropia mede a incerteza sobre qual categoria ocorre, e não o tamanho dos valores. Ela ignora a ordem, o espaçamento e os rótulos das categorias, portanto, não é uma medida de variância — para isso, veja a calculadora de Assimetria e Curtose.
- Dados amostrais: com amostras pequenas, a entropia estimada a partir de contagens fica subestimada. A correção de viés do tipo plug-in (Miller–Madow) adiciona \((k-1)/(2n\ln b)\), sendo \(n\) a contagem total — vale a pena aplicá-la se as suas contagens forem pequenas.
- Medidas relacionadas: os mesmos termos \(p \log p\) aparecem na entropia cruzada e na divergência de Kullback–Leibler, usadas para comparar uma distribuição a uma referência. A entropia de uma distribuição uniforme se relaciona diretamente com a Distribuição Uniforme, e ela é rotineiramente aplicada a uma matriz de confusão para avaliar a incerteza de um classificador. Para comparar uma distribuição observada com uma esperada, o teste de Kruskal–Wallis é outra opção.
Referência rápida: unidades e entropia máxima
| Base | Unidade | \(H_{max}\) para \(k\) categorias | Uso típico |
|---|---|---|---|
| 2 | bits | \(\log_2 k\) | Teoria da informação, códigos, ciência da computação |
| \(e \approx 2.718\) | nats | \(\ln k\) | Aprendizado de máquina, mecânica estatística |
| 10 | dits (hartleys) | \(\log_{10} k\) | Medidas clássicas de informação |
Para converter entre unidades, use \(H_{\text{bits}} = H_{\text{nats}} / \ln 2\) ou \(H_{\text{bits}} = H_{\text{dits}} \cdot \log_2 10\). Se estiver em dúvida sobre qual base escolher, a base 2 é a opção mais segura — bits são a unidade mais usada nos relatórios.
Perguntas frequentes
Quais são os erros mais comuns ao calcular a entropia?
Os erros mais frequentes são esquecer de normalizar as contagens para que somem 1, incluir categorias com contagem zero de um jeito que infla o k (o que aumenta \(H_{max}\) e reduz a eficiência) e misturar bases de logaritmo ao comparar valores de fontes diferentes. Lembre-se também de que a entropia ignora a magnitude e a ordem dos valores — (10, 20, 70) e (70, 20, 10) têm a mesma entropia, pois só as probabilidades importam.