Calculadora de matriz de confusão

Como usar a calculadora

1. Conte quantos casos caem em cada célula da sua matriz de confusão e informe os valores em Verdadeiros positivos, Falsos positivos, Falsos negativos e Verdadeiros negativos. Os quatro valores devem ser números inteiros \(\ge 0\).
2. Escolha a opção Exibir métricas como: "Proporções (0–1)" para valores decimais ou "Porcentagens (0–100%)" para valores em porcentagem.
3. Leia os resultados: Total de previsões, Acurácia, Precisão (valor preditivo positivo), Recall (sensibilidade, taxa de verdadeiros positivos), Especificidade (taxa de verdadeiros negativos) e Pontuação F1, seguidos de um resumo de como as métricas foram calculadas e como interpretá-las.
4. Se uma métrica aparecer como "—", é porque seu denominador era zero — por exemplo, a precisão fica indefinida quando o modelo nunca previu um caso positivo (\(TP + FP = 0\)).

O que é uma matriz de confusão?

A matriz de confusão é o boletim básico de um classificador binário. Trata-se de uma tabela 2×2 que cruza a classe verdadeira de cada caso (positivo ou negativo) com a classe que o modelo previu. As quatro células — verdadeiros positivos, falsos positivos, falsos negativos e verdadeiros negativos — cobrem todos os resultados possíveis, de modo que a soma delas, \(n\), é o número total de casos classificados. A partir apenas desses quatro números, é possível derivar todas as medidas padrão de qualidade da classificação.

As cinco métricas calculadas aqui respondem cada uma a uma pergunta diferente. A acurácia pergunta: no geral, que fração das previsões estava correta? A precisão pergunta: quando o modelo diz "positivo", com que frequência ele acerta? Precisão baixa significa muitos alarmes falsos. O recall (também chamado de sensibilidade ou taxa de verdadeiros positivos) pergunta: de todos os casos que realmente são positivos, quantos o modelo capturou? Recall baixo significa casos perdidos. A especificidade é o recall da classe negativa — mede o quão bem o modelo reconhece os verdadeiros negativos. O F1 é a média harmônica entre precisão e recall, equilibrando as duas: só fica alto quando ambas são altas.

Por que não usar apenas a acurácia? Porque ela engana quando as classes são desbalanceadas. Se apenas 1% dos casos são positivos, um modelo trivial que classifica tudo como negativo atinge 99% de acurácia sem capturar nenhum positivo. Precisão, recall e F1 focam na classe positiva e expõem esse tipo de falha de imediato. Qual métrica importa mais depende do custo dos erros: no rastreamento de câncer, um tumor não detectado (falso negativo) é muito pior do que um alarme falso, então o recall é priorizado; no filtro de spam, um e-mail legítimo perdido (falso positivo) pode ser pior, então a precisão pesa mais.

Em contextos médicos e epidemiológicos, os mesmos números recebem outros nomes: o recall é a sensibilidade, a precisão é o valor preditivo positivo (VPP) e a proporção de casos realmente positivos, \((TP + FN)/n\), é a prevalência. Se você conhece a sensibilidade, a especificidade e a prevalência de um teste, pode avançar até os valores preditivos com o Teorema de Bayes.

Premissas, limitações e dicas práticas

• A calculadora trata as quatro contagens como inteiros exatos de uma única rodada de classificação. Ela assume que cada caso pertence a exatamente uma célula e que a classe "positiva" é aquela que você quer detectar.
• Todas as métricas são calculadas sobre a amostra informada, portanto, são estimativas sujeitas a erro amostral. Com contagens pequenas (digamos, menos de 30 positivos), informe um intervalo de confiança — o intervalo de Wilson é uma boa escolha para proporções — em vez de uma porcentagem isolada.
• Métricas com denominador zero ficam indefinidas e aparecem como "—": a precisão quando nenhum positivo foi previsto, o recall quando não há casos positivos, a especificidade quando não há casos negativos e o F1 quando precisão e recall são ambas zero.
• O F1 pondera precisão e recall igualmente. Se uma delas importa mais na sua aplicação, use a pontuação \(F_\beta\) (por exemplo, \(F_2\) favorece o recall e \(F_{0.5}\) favorece a precisão).
• A matriz de confusão não diz nada sobre por que o modelo erra nem como ele se compara a outro modelo nos mesmos dados. Para testar se dois classificadores (ou dois avaliadores) diferem significativamente em resultados pareados, use o Teste de McNemar; para proporções independentes, aplica-se o Teste Z para duas proporções ou o Teste Exato de Fisher.
• A matriz de confusão exige decisões rígidas (binárias). Se o seu modelo gera probabilidades, as contagens — e, portanto, todas as métricas — dependem do limiar escolhido para converter escores em rótulos; por isso, sempre informe o limiar junto com as métricas.