Konfusionsmatrix-Rechner

So verwenden Sie den Rechner

1. Zählen Sie aus, wie viele Fälle in jede Zelle Ihrer Konfusionsmatrix fallen, und tragen Sie die Werte unter Richtig positiv, Falsch positiv, Falsch negativ und Richtig negativ ein. Alle vier Werte müssen ganze Zahlen \(\ge 0\) sein.
2. Wählen Sie bei Kennzahlen anzeigen als entweder „Anteile (0–1)“ für Dezimalwerte oder „Prozente (0–100 %)“ für Prozentwerte.
3. Lesen Sie die Ergebnisse ab: Gesamtzahl der Vorhersagen, Genauigkeit, Präzision (positiver prädiktiver Wert), Recall (Sensitivität, richtig-positiv-Rate), Spezifität (richtig-negativ-Rate) und F1-Score — daran schließt sich eine Übersicht darüber an, wie die Kennzahlen berechnet wurden und wie sie zu interpretieren sind.
4. Steht eine Kennzahl als „—“, war ihr Nenner null — die Präzision ist beispielsweise nicht definiert, wenn das Modell keinen einzigen positiven Fall vorhergesagt hat (\(TP + FP = 0\)).

Was ist eine Konfusionsmatrix?

Eine Konfusionsmatrix ist gewissermaßen das Zeugnis eines binären Klassifikators: eine 2×2-Tabelle, in der die tatsächliche Klasse jedes Falls (positiv oder negativ) der vom Modell vorhergesagten Klasse gegenübergestellt wird. Die vier Zellen — richtig positiv, falsch positiv, falsch negativ und richtig negativ — decken jedes mögliche Ergebnis ab, weshalb ihre Summe \(n\) der Gesamtzahl der klassifizierten Fälle entspricht. Aus diesen vier Zahlen allein lassen sich sämtliche Standardkennzahlen der Klassifikationsgüte ableiten.

Die fünf hier berechneten Kennzahlen beantworten jeweils eine andere Frage. Die Genauigkeit fragt: Wie groß ist insgesamt der Anteil der Vorhersagen, die korrekt waren? Die Präzision fragt: Wenn das Modell „positiv“ sagt, wie oft liegt es richtig? Eine niedrige Präzision bedeutet viele Fehlalarme. Der Recall (auch Sensitivität oder richtig-positiv-Rate genannt) fragt: Wie viele der tatsächlich positiven Fälle hat das Modell erkannt? Ein niedriger Recall bedeutet übersehene Fälle. Die Spezifität ist der Recall der negativen Klasse — sie zeigt, wie gut das Modell echte Negative erkennt. F1 ist das harmonische Mittel aus Präzision und Recall und bringt beide ins Gleichgewicht: Es ist nur hoch, wenn beide hoch sind.

Warum nicht einfach die Genauigkeit verwenden? Weil die Genauigkeit bei unausgewogenen Klassen in die Irre führt. Sind nur 1 % der Fälle positiv, erzielt ein triviales Modell, das alles als negativ einstuft, 99 % Genauigkeit — und erkennt dabei keinen einzigen positiven Fall. Präzision, Recall und F1 konzentrieren sich auf die positive Klasse und decken solche Schwächen sofort auf. Welche Kennzahl am wichtigsten ist, hängt von den Kosten der Fehler ab: Beim Krebs-Screening ist ein übersehener Tumor (falsch negativ) weitaus schlimmer als ein Fehlalarm, weshalb der Recall Vorrang hat; beim Spamfilter kann eine verlorengegangene legitime E-Mail (falsch positiv) schwerer wiegen — dann zählt die Präzision mehr.

In der Medizin und Epidemiologie tragen dieselben Zahlen andere Namen: Der Recall heißt dort Sensitivität, die Präzision positiver prädiktiver Wert (PPV), und der Anteil der tatsächlich positiven Fälle \((TP + FN)/n\) heißt Prävalenz. Sind Sensitivität, Spezifität und Prävalenz eines Tests bekannt, können Sie die prädiktiven Werte mit dem Satz von Bayes berechnen.

Voraussetzungen, Grenzen und praktische Hinweise

• Der Rechner behandelt die vier Zahlen als exakte ganze Zahlen aus einem einzigen Klassifikationslauf. Er setzt voraus, dass jeder Fall in genau eine Zelle fällt und dass die „positive“ Klasse diejenige ist, deren Erkennung Ihnen wichtig ist.
• Alle Kennzahlen werden für die eingegebene Stichprobe berechnet und sind damit Schätzungen, die einem Stichprobenfehler unterliegen. Bei kleinen Zahlen (etwa unter 30 positiven Fällen) sollten Sie ein Konfidenzintervall angeben — für Anteile bietet sich ein Wilson-Intervall an — statt eines nackten Prozentwerts.
• Kennzahlen mit dem Nenner null sind nicht definiert und werden als „—“ angezeigt: die Präzision, wenn keine positiven Fälle vorhergesagt wurden, der Recall, wenn es keine tatsächlich positiven Fälle gibt, die Spezifität, wenn es keine tatsächlich negativen Fälle gibt, und F1, wenn Präzision und Recall beide null sind.
• F1 gewichtet Präzision und Recall gleichermaßen. Wenn Ihnen in Ihrer Anwendung das eine wichtiger ist als das andere, verwenden Sie stattdessen den \(F_\beta\)-Score (\(F_2\) betont beispielsweise den Recall, \(F_{0.5}\) die Präzision).
• Die Konfusionsmatrix sagt nichts darüber aus, warum das Modell Fehler macht oder wie es sich im Vergleich zu einem anderen Modell auf denselben Daten schlägt. Ob sich zwei Klassifikatoren (oder zwei Beurteiler) bei gepaarten Ergebnissen signifikant unterscheiden, prüfen Sie mit dem McNemar-Test; für unabhängige Anteile eignen sich der Z-Test für zwei Anteile oder der exakte Test nach Fisher.
• Eine Konfusionsmatrix setzt harte (binäre) Entscheidungen voraus. Gibt Ihr Modell Wahrscheinlichkeiten aus, hängen die Zahlen — und damit jede Kennzahl — vom gewählten Schwellenwert ab, mit dem die Scores in Klassenlabels umgewandelt werden. Geben Sie den Schwellenwert daher immer zusammen mit den Kennzahlen an.