ROC-AUC-Rechner

So benutzen Sie den Rechner

1. Fügen Sie Ihre tatsächlichen Klassenlabels (0 oder 1) in das erste Feld ein — ein Label pro Fall, getrennt durch Leerzeichen, Zeilenumbrüche oder Semikolons. Verwenden Sie 1 für die positive und 0 für die negative Klasse.
2. Fügen Sie Ihre Vorhersage-Scores in das zweite Feld ein, in derselben Reihenfolge wie die Labels. Jede numerische Skala funktioniert (Wahrscheinlichkeiten, Modellausgaben, Bewertungen); Dezimalkommas sind zulässig.
3. Ändern Sie optional den Schwellenwert für die Konfusionsmatrix (Standard 0,5). Ein Fall gilt als positiv vorhergesagt, wenn sein Score mindestens so hoch ist wie dieser Schwellenwert. Auf die AUC hat der Schwellenwert keinen Einfluss.
4. Lesen Sie die Ergebnisse ab: die Fläche unter der ROC-Kurve, den Gini-Koeffizienten, den besten Schwellenwert (Youden-Index), die Konfusionsmatrix bei Ihrem Schwellenwert sowie eine Tabelle mit ROC-Kurvenpunkten, die Sie zeichnen können.

Beide Listen müssen gleich lang sein, und die Daten müssen mindestens einen positiven und einen negativen Fall enthalten — andernfalls lässt sich keine Rangordnung bewerten.

Was ist die ROC-AUC?

Die ROC-Kurve (Receiver Operating Characteristic) zeigt, wie gut ein binärer Klassifikator bei jedem denkbaren Schwellenwert abschneidet. Jeder Punkt der Kurve ist ein Paar aus falsch-positiv-Rate und richtig-positiv-Rate, das entsteht, wenn alle Fälle mit einem Score ab einem bestimmten Schwellenwert als positiv klassifiziert werden. Wandert der Schwellenwert von hoch nach niedrig, zeichnet die Kurve eine Linie vom Ursprung (nichts als positiv vorhergesagt) bis in die obere rechte Ecke (alles als positiv vorhergesagt).

Die AUC — die Fläche unter dieser Kurve — fasst die gesamte Kurve in einer einzigen Zahl zusammen. Sie hat eine unmittelbare wahrscheinlichkeitstheoretische Bedeutung: die Chance, dass ein zufällig gewählter positiver Fall einen höheren Score erhält als ein zufällig gewählter negativer. Eine perfekte Rangordnung ergibt AUC = 1, eine nutzlose (zufällige) Rangordnung AUC = 0,5, und eine durchgehend umgekehrte Rangordnung AUC < 0,5 — in letzterem Fall sollten Sie die Richtung Ihrer Scores umkehren.

Als grobe Faustregel gilt: 0,9–1 ausgezeichnet, 0,8–0,9 gut, 0,7–0,8 brauchbar, 0,6–0,7 schwach, 0,5 nicht besser als der Zufall. Der Gini-Koeffizient \(2\cdot\text{AUC}-1\) skaliert dies so um, dass 0 Zufall und 1 perfekt bedeutet; er ist vor allem im Credit Scoring verbreitet, wo er auch als Somers' D bezeichnet wird.

Anders als Genauigkeit oder Präzision ist die AUC schwellenwertfrei: Sie misst, wie gut die Scores die Fälle in eine Rangordnung bringen, unabhängig von jedem Schwellenwert, den Sie später wählen. Das macht sie zur natürlichen Metrik für den Vergleich von Scoring-Modellen, bedeutet aber auch, dass sie nichts über die Kalibrierung aussagt — ein Score von 0,8 entspricht nicht zwangsläufig einer Wahrscheinlichkeit von 80 %. Wenn Sie Kennzahlen der Konfusionsmatrix bei einem bestimmten Schwellenwert benötigen, kombinieren Sie dieses Tool mit dem Konfusionsmatrix-Rechner.

Den Schwellenwert wählen

Der Rechner gibt den Schwellenwert aus, der den Youden-Index \(J = \text{Sensitivität} + \text{Spezifität} - 1\) maximiert — also den Punkt der ROC-Kurve mit dem größten Abstand zur Diagonalen. Das ist ein sinnvoller Standard, aber nicht immer die operativ beste Wahl. Beim medizinischen Screening wollen Sie eventuell eine hohe Sensitivität und akzeptieren dafür mehr falsch-positive Befunde; bei einem Bestätigungstest oder bei Betrugserkennung mit teuren Nachprüfungen kann die Spezifität wichtiger sein. Nutzen Sie die Tabelle der ROC-Punkte, um den Zielkonflikt zwischen Sensitivität und Spezifität bei jedem vorkommenden Score zu sehen, und wählen Sie den Schwellenwert, der zu Ihren Kosten passt.

Da die AUC eine Rangordnungsmetrik ist, steht sie anderen Rangstatistiken nahe. Wenn Sie Rangübereinstimmungen allgemeiner untersuchen, behandelt der Kendall-Tau-Rechner konkordante und diskordante Paare zwischen zwei Variablen.

Voraussetzungen, Grenzen und Hinweise

• Nur binäre Ergebnisse. Die Labels müssen exakt 0 oder 1 sein. Bei Mehrklassenproblemen berechnen Sie eine AUC pro Klasse (Eins-gegen-den-Rest).
• Unabhängigkeit. Jeder Fall trägt ein Label und einen Score bei, und die Fälle werden als unabhängig angenommen. Wiederholte Messungen an derselben Person verletzen diese Annahme.
• Gleichstände werden berücksichtigt, indem jedes gleichauf liegende positiv-negative Paar als halber Erfolg zählt — das entspricht der AUC nach der Trapezregel und der Konvention der Mann-Whitney-U-Statistik.
• Kleine Stichproben. Bei wenigen Fällen hat die AUC ein weites Konfidenzintervall; ein Hanley-McNeil- oder DeLong-Intervall sollte zusätzlich angegeben werden. Das voreingestellte Beispiel mit 10 Fällen dient nur der Veranschaulichung.
• Klassenungleichgewicht. Die AUC ist unempfindlich gegenüber dem Verhältnis von positiven zu negativen Fällen — das kann ein Vorteil oder eine blinde Stelle sein. Ein Modell kann eine hohe AUC haben und trotzdem viele tatsächliche Positive übersehen. Prüfen Sie die Konfusionsmatrix und Kennzahlen wie die Odds Ratio, um die praktischen Auswirkungen zu beurteilen.
• AUC < 0,5 bedeutet, dass Ihre Scores invertiert sind: Verwenden Sie entweder die Logik „Score ≤ Schwellenwert“ oder tauschen Sie die Labels.