Calculateur de ROC AUC
Saisissez les étiquettes de classe (0/1) et les scores de prédiction pour calculer l'AUC (ROC), le coefficient de Gini, le meilleur seuil selon l'indice J de Youden, la matrice de confusion et l'ensemble des points de la courbe ROC.
Mesurez la capacité de vos scores à séparer deux classes
Formule de la ROC AUC
Où :
- \(P\) — nombre de cas positifs (étiquette 1)
- \(N\) — nombre de cas négatifs (étiquette 0)
- \(s_+\) — score d'un cas positif ; \(s_-\) — score d'un cas négatif
- \(G\) — coefficient de Gini (D de Somers), un simple changement d'échelle de l'AUC
- \(J\) — statistique J de Youden, utilisée pour déterminer le meilleur seuil
L'AUC est la probabilité qu'un cas positif tiré au hasard obtienne un score supérieur à celui d'un cas négatif tiré au hasard (les égalités comptent pour une demi-victoire). Elle est égale à l'aire trapézoïdale sous la courbe ROC et à la statistique U de Mann–Whitney divisée par \(P \cdot N\).
ROC AUC – Exemple de calcul
Exemple : 10 cas, 5 positifs et 5 négatifs, avec les scores par défaut. Les scores positifs sont 0,9 ; 0,85 ; 0,8 ; 0,75 et 0,6, et les scores négatifs sont 0,7 ; 0,4 ; 0,3 ; 0,2 et 0,1.
Il y a \(P \cdot N = 25\) paires positif–négatif. Dans 24 d'entre elles, le cas positif obtient le score le plus élevé ; la seule paire mal classée est (0,6 ; 0,7). Aucune paire n'est à égalité, donc :
\[ \text{AUC} = \frac{24 + \tfrac{1}{2}\cdot 0}{5 \times 5} = 0.96 \]
Résultat : AUC = 0,96, coefficient de Gini \(2 \times 0.96 - 1 = 0.92\). Le meilleur seuil selon l'indice J de Youden est score ≥ 0,6 (sensibilité 100 %, spécificité 80 %, \(J = 0.8\)). Au seuil par défaut de 0,5, la matrice de confusion est VP = 5, FP = 1, FN = 0, VN = 4 (exactitude de 90 %).
Comment utiliser le calculateur
- Collez vos étiquettes de classe réelles (0 ou 1) dans le premier champ — une étiquette par cas, séparées par des espaces, des retours à la ligne ou des points-virgules. Utilisez 1 pour la classe positive et 0 pour la classe négative.
- Collez vos scores de prédiction dans le second champ, dans le même ordre que les étiquettes. Toute échelle numérique convient (probabilités, sorties de modèle, notes) ; les virgules décimales sont acceptées.
- Vous pouvez modifier le seuil de la matrice de confusion (0,5 par défaut). Un cas est prédit positif lorsque son score est ≥ ce seuil. Le seuil n'a aucune incidence sur l'AUC.
- Consultez les résultats : l'aire sous la courbe ROC, le coefficient de Gini, le meilleur seuil (J de Youden), la matrice de confusion à votre seuil et un tableau des points de la courbe ROC que vous pouvez tracer.
Les deux listes doivent être de même longueur et les données doivent contenir au moins un cas positif et un cas négatif — sans quoi aucun classement ne peut être évalué.
Qu'est-ce que la ROC AUC ?
La courbe ROC (Receiver Operating Characteristic, soit « caractéristique de fonctionnement du récepteur ») montre comment un classificateur binaire se comporte à chaque seuil possible. Chaque point de la courbe correspond à un couple (taux de faux positifs, taux de vrais positifs) obtenu en classant comme positifs tous les cas dont le score est ≥ un seuil donné. En faisant descendre le seuil du plus élevé au plus faible, on trace la courbe depuis l'origine (aucun cas prédit positif) jusqu'au coin supérieur droit (tous les cas prédits positifs).
L'AUC — l'aire sous cette courbe — résume toute la courbe en un seul nombre. Elle a une interprétation probabiliste directe : la chance qu'un cas positif pris au hasard obtienne un score supérieur à celui d'un cas négatif pris au hasard. Un classement parfait donne AUC = 1 ; un classement aléatoire, sans aucune valeur, donne AUC = 0,5 ; un classement systématiquement inversé donne AUC < 0,5, ce qui signifie que vous devez inverser le sens de vos scores.
Repère approximatif utile : 0,9–1 excellent, 0,8–0,9 bon, 0,7–0,8 passable, 0,6–0,7 faible, 0,5 pas mieux que le hasard. Le coefficient de Gini \(2\cdot\text{AUC}-1\) replace cette échelle entre 0 (hasard) et 1 (parfait) ; il est très utilisé en scoring de crédit, où on l'appelle également D de Somers.
Contrairement à l'exactitude ou à la précision, l'AUC est indépendante du seuil : elle mesure la capacité des scores à ordonner les cas, quel que soit le seuil que vous choisirez ensuite. C'est donc la métrique naturelle pour comparer des modèles de scoring, mais cela implique aussi qu'elle ne dit rien de la calibration — un score de 0,8 ne correspond pas nécessairement à une probabilité de 80 %. Si vous avez besoin des métriques de la matrice de confusion à un seuil précis, associez cet outil au calculateur de matrice de confusion.
Choisir un seuil
Le calculateur indique le seuil qui maximise la statistique J de Youden, \(J = \text{sensibilité} + \text{spécificité} - 1\) — le point de la courbe ROC le plus éloigné de la diagonale. C'est un choix par défaut raisonnable, mais pas toujours le meilleur sur le plan opérationnel. En dépistage médical, on peut viser une sensibilité élevée et accepter davantage de faux positifs ; dans un test de confirmation ou en détection de fraude avec des enquêtes coûteuses, la spécificité peut primer. Utilisez le tableau des points ROC pour visualiser le compromis sensibilité/spécificité à chaque score distinct et choisissez le seuil qui correspond à vos coûts.
L'AUC étant une mesure de classement, elle est étroitement liée à d'autres statistiques de rang. Si vous analysez plus généralement la concordance de classements, le calculateur du tau de Kendall traite des paires concordantes et discordantes entre deux variables.
Hypothèses, limites et conseils
- Résultats binaires uniquement. Les étiquettes doivent être exactement 0 ou 1. Pour les problèmes multiclasse, calculez une AUC par classe (un contre tous).
- Indépendance. Chaque cas apporte une étiquette et un score, et les cas sont supposés indépendants. Des mesures répétées sur un même sujet contredisent cette hypothèse.
- Les égalités sont prises en compte en comptant chaque paire positif–négatif à égalité comme un demi-succès, ce qui correspond à l'AUC trapézoïdale et à la convention de la U de Mann–Whitney.
- Petits échantillons. Avec peu de cas, l'AUC présente un intervalle de confiance large ; il est alors judicieux de rapporter un intervalle de Hanley–McNeil ou de DeLong à côté. L'exemple par défaut de 10 cas n'a qu'une valeur d'illustration.
- Déséquilibre des classes. L'AUC est insensible à la proportion de positifs et de négatifs, ce qui peut être un atout comme un angle mort — un modèle peut afficher une AUC élevée tout en manquant de nombreux cas réellement positifs. Consultez la matrice de confusion et des métriques comme l'odds ratio (rapport des cotes) pour mesurer l'impact concret.
- Une AUC < 0,5 signifie que vos scores sont inversés : utilisez une logique « score ≤ seuil » ou échangez les étiquettes.
Questions fréquentes
Comment calculer l'AUC à la main, sans aucun logiciel ?
Listez tous les scores positifs et tous les scores négatifs, puis comparez toutes les paires positif–négatif. Comptez combien de paires ont un score positif strictement supérieur ; les égalités comptent pour 0,5. Divisez ensuite par le nombre total de paires. Avec 4 positifs et 6 négatifs, il y a 24 paires ; si 21 sont bien classées et 2 à égalité, \(\text{AUC} = (21 + 1)/24 \approx 0.92\). Il s'agit exactement de la statistique U de Mann–Whitney divisée par \(P \cdot N\).
L'AUC peut-elle être supérieure à 1 ou négative ?
Non. L'AUC est une probabilité : elle est donc toujours comprise entre 0 et 1. Si votre calcul manuel donne un résultat hors de cet intervalle, c'est que vous avez mal compté les paires ou mal étiqueté les classes. Une AUC inférieure à 0,5 reste mathématiquement valide — elle signifie simplement que vos scores classent dans le mauvais sens, et inverser la comparaison (considérer les scores faibles comme plus positifs) la transforme en 1 − AUC.
Combien de cas faut-il pour une AUC fiable ?
Il n'existe pas de minimum fixe, mais la précision n'augmente que lentement. Avec 10 positifs et 10 négatifs, l'AUC évolue par pas de 1/100 et l'intervalle de confiance à 95 % peut facilement s'étendre sur 0,2 ou plus. En règle empirique, visez au moins 20 à 30 cas par classe pour une estimation grossière, et rapportez un intervalle de confiance de DeLong ou de Hanley–McNeil afin que le lecteur puisse juger l'incertitude au lieu de se fier à un seul chiffre.
Une AUC plus élevée signifie-t-elle toujours un meilleur modèle ?
Pas nécessairement. L'AUC ne mesure que la qualité du classement : un modèle peut obtenir un score élevé tout en étant médiocre en pratique — avec des positifs rares, par exemple, il peut passer à côté de nombreux cas réels tout en conservant une AUC forte. Elle ignore également la calibration et les coûts réels des erreurs. Associez toujours l'AUC à une matrice de confusion à un seuil réaliste, et envisagez la précision, le rappel ou le lift selon votre problème de décision.
Pourquoi mon AUC ne change-t-elle pas quand je modifie le seuil ?
C'est tout à fait normal. L'AUC résume le modèle sur tous les seuils possibles à la fois : aucun seuil pris isolément ne peut l'affecter. Modifier le seuil vous déplace simplement le long de la courbe ROC et change le point auquel vous vous situez — donc la matrice de confusion, l'exactitude, la précision et le rappel. Utilisez le champ du seuil pour explorer ce compromis, et l'AUC pour comparer les modèles avant d'en choisir un.
Quel est le lien entre le coefficient de Gini et l'AUC ?
C'est un simple changement d'échelle linéaire : \(G = 2\times\text{AUC} - 1\). La performance du hasard (AUC de 0,5) correspond à un Gini de 0, et un classement parfait à un Gini de 1. Les publications de scoring de crédit et d'économie citent souvent le Gini ou le D de Somers équivalent, tandis que les articles d'apprentissage automatique privilégient l'AUC — ces mesures portent exactement la même information : passer de l'une à l'autre se réduit à cette formule.
Puis-je utiliser ce calculateur pour plus de deux classes ?
Pas directement — la courbe ROC est définie pour des résultats binaires, les étiquettes doivent donc être 0 ou 1. Pour un problème multiclasse, calculez une AUC par classe selon un schéma « un contre tous » : traitez la classe visée comme 1, fusionnez toutes les autres en 0, puis lancez le calcul séparément. Pour résumer le résultat, faites la moyenne des AUC par classe, en général à parts égales (moyenne macro) ou pondérée par la fréquence de chaque classe.