Calculateur de matrice de confusion

Comment utiliser le calculateur

1. Comptez le nombre de cas relevant de chaque cellule de votre matrice de confusion, puis saisissez-les sous Vrais positifs, Faux positifs, Faux négatifs et Vrais négatifs. Les quatre valeurs doivent être des nombres entiers \(\ge 0\).
2. Choisissez l'option Afficher les métriques en : « Proportions (0–1) » pour des valeurs décimales ou « Pourcentages (0–100 %) » pour des valeurs en pourcentage.
3. Lisez les résultats : Total de prédictions, Exactitude, Précision (valeur prédictive positive), Rappel (sensibilité, taux de vrais positifs), Spécificité (taux de vrais négatifs) et Score F1, suivis d'un résumé expliquant comment les métriques ont été calculées et comment les interpréter.
4. Si une métrique s'affiche « — », c'est que son dénominateur était nul — par exemple, la précision n'est pas définie lorsque le modèle n'a jamais prédit de cas positif (\(VP + FP = 0\)).

Qu'est-ce qu'une matrice de confusion ?

La matrice de confusion est le bilan élémentaire d'un classifieur binaire. C'est un tableau 2×2 qui croise la classe réelle de chaque cas (positif ou négatif) avec la classe que le modèle a prédite. Les quatre cellules — vrais positifs, faux positifs, faux négatifs et vrais négatifs — couvrent tous les résultats possibles, si bien que leur somme \(n\) est le nombre total de cas classés. À partir de ces quatre nombres seulement, on peut dériver toutes les mesures standard de la qualité d'une classification.

Les cinq métriques calculées ici répondent chacune à une question différente. L'exactitude demande : globalement, quelle part des prédictions était correcte ? La précision demande : quand le modèle dit « positif », à quelle fréquence a-t-il raison ? Une précision faible traduit de nombreuses fausses alertes. Le rappel (aussi appelé sensibilité ou taux de vrais positifs) demande : parmi tous les cas réellement positifs, combien le modèle a-t-il détectés ? Un rappel faible traduit des cas manqués. La spécificité est le rappel de la classe négative — elle mesure la capacité du modèle à reconnaître les vrais négatifs. Le F1 est la moyenne harmonique de la précision et du rappel : il équilibre les deux et n'est élevé que lorsque les deux le sont.

Pourquoi ne pas se contenter de l'exactitude ? Parce qu'elle devient trompeuse quand les classes sont déséquilibrées. Si seulement 1 % des cas sont positifs, un modèle trivial qui classe tout en négatif atteint 99 % d'exactitude tout en ne détectant aucun positif. Précision, rappel et F1 se concentrent sur la classe positive et exposent immédiatement ce type d'échec. La métrique qui compte le plus dépend du coût des erreurs : dans le dépistage du cancer, une tumeur manquée (faux négatif) est bien plus grave qu'une fausse alerte, d'où la priorité au rappel ; dans le filtrage du spam, un e-mail légitime perdu (faux positif) peut être plus dommageable, et la précision pèse alors davantage.

Dans les contextes médicaux et épidémiologiques, ces mêmes nombres portent d'autres noms : le rappel est la sensibilité, la précision est la valeur prédictive positive (VPP), et la part de cas réellement positifs \((VP + FN)/n\) est la prévalence. Si vous connaissez la sensibilité, la spécificité et la prévalence d'un test, vous pouvez en déduire les valeurs prédictives grâce au théorème de Bayes.

Hypothèses, limites et conseils pratiques

• Le calculateur considère les quatre effectifs comme des nombres entiers exacts issus d'une seule exécution de la classification. Il suppose que chaque cas appartient à une seule cellule et que la classe « positive » est celle que vous cherchez à détecter.
• Toutes les métriques sont calculées sur l'échantillon saisi : ce sont donc des estimations soumises à l'erreur d'échantillonnage. Avec de petits effectifs (disons moins de 30 positifs), indiquez un intervalle de confiance — l'intervalle de Wilson convient bien pour des proportions — plutôt qu'un simple pourcentage.
• Les métriques dont le dénominateur est nul ne sont pas définies et s'affichent « — » : la précision quand aucun positif n'a été prédit, le rappel quand il n'y a aucun cas réellement positif, la spécificité quand il n'y a aucun cas réellement négatif, et le F1 quand la précision et le rappel sont tous deux nuls.
• Le F1 pondère précision et rappel à parts égales. Si l'une compte davantage dans votre application, utilisez plutôt le score \(F_\beta\) (par exemple \(F_2\) favorise le rappel, \(F_{0.5}\) favorise la précision).
• La matrice de confusion ne dit rien des raisons pour lesquelles le modèle se trompe, ni de sa comparaison avec un autre modèle sur les mêmes données. Pour vérifier si deux classifieurs (ou deux évaluateurs) diffèrent significativement sur des résultats appariés, utilisez le test de McNemar ; pour des proportions indépendantes, le test Z de comparaison de deux proportions ou le test exact de Fisher s'applique.
• Une matrice de confusion suppose des décisions fermes (binaires). Si votre modèle produit des probabilités, les effectifs — et donc toutes les métriques — dépendent du seuil choisi pour convertir les scores en étiquettes : indiquez toujours ce seuil en même temps que les métriques.