ROC-AUC

Bei korrekter Score-Richtung entspricht 0,5 im Mittel einer zufälligen Rangordnung von positivem und negativem Fall. Eine AUC unter 0,5 kann auf invertierte Score-Richtung oder schlechte Trennung hinweisen. Sie bedeutet nicht, dass exakt die Hälfte aller Fälle falsch klassifiziert wird, denn dafür wäre eine konkrete Schwelle nötig. Die Zahl bewertet Rangdiskrimination über Schwellen und sollte zusammen mit Unsicherheit und Zielpopulation berichtet werden. Berichte Referenzstandard, Population, Konfidenzintervall und Score-Richtung. AUC ersetzt weder Schwellenwahl noch Kalibrierung oder Nutzenbewertung. Unterschiede zwischen AUC-Werten sollten mit Unsicherheit und Studiendesign beurteilt werden.

Nein. Die AUC integriert alle möglichen Schwellen und gewichtet sie nicht nach Folgen. Eine Entscheidungsschwelle hängt davon ab, welche falsch positiven und falsch negativen Ergebnisse kosten, welche Prävalenz gilt und welche Ressourcen verfügbar sind. Zwei Tests mit gleicher AUC können sich im klinisch relevanten Schwellenbereich unterscheiden. Für die Auswahl sind lokale Sensitivität, Spezifität, Vorhersagewerte, Unsicherheit und Konsequenzen nötig, nicht nur die Gesamtfläche. Berichte Referenzstandard, Population, Konfidenzintervall und Score-Richtung. AUC ersetzt weder Schwellenwahl noch Kalibrierung oder Nutzenbewertung. Unterschiede zwischen AUC-Werten sollten mit Unsicherheit und Studiendesign beurteilt werden.

Nein. Diskrimination fragt, ob ein Modell Personen mit Ereignis im Score höher einordnet als Personen ohne Ereignis. Kalibrierung fragt, ob vorhergesagte Wahrscheinlichkeiten mit beobachteten Häufigkeiten übereinstimmen. Ein Modell kann Ereignisse gut sortieren und zugleich systematisch zu hohe Risiken ausgeben. Umgekehrt kann gute mittlere Kalibrierung ohne starke Rangtrennung auftreten. Beide Eigenschaften beantworten unterschiedliche Fragen und sollten getrennt bewertet werden. Berichte Referenzstandard, Population, Konfidenzintervall und Score-Richtung. AUC ersetzt weder Schwellenwahl noch Kalibrierung oder Nutzenbewertung. Unterschiede zwischen AUC-Werten sollten mit Unsicherheit und Studiendesign beurteilt werden.

Rechne zuerst das Muster aus dem Beispiel nach: Für Punkte (0,0), (0,25;0,6), (0,5;0,85), (1;1) ergibt die Trapezregel AUC≈0,075+0,181+0,463=0,72. ROC-AUC verwendet AUC = Fläche unter der ROC-Kurve. Kurz gesagt: die ROC-AUC fasst die Trennfähigkeit eines Scores über alle möglichen Schwellen zusammen. Einheitencheck: AUC dimensionslos 0…1 · FPR und Sensitivität als Anteile 0…1. Compare curves only for comparable populations, outcomes, reference standards and score direction. Werte sind nur vergleichbar, wenn Definition, Nenner und Zeitraum übereinstimmen. Schreibe diese Angaben neben das Ergebnis, damit die Bezugsgruppe erkennbar bleibt. Bei einer unplausiblen Richtung kontrollierst du zuerst Datenaufbereitung und Rechenbasis, bevor du biologische Ursachen diskutierst.

Eine zentrale Grenze von ROC-AUC lautet: Compare curves only for comparable populations, outcomes, reference standards and score direction. Nutze die Kennzahl deshalb nicht losgelöst von ihrer Referenz; sie eignet sich für Vergleich diagnostischer oder statistischer Scores über Schwellen hinweg. Die ROC-AUC fasst die Trennfähigkeit eines Scores über alle möglichen Schwellen zusammen. Bei Vergleichen zwischen Populationen oder Experimenten prüfst du, ob Definition, Nenner und Erhebungszeitraum übereinstimmen. Ist die Annahme nicht plausibel, zeigt das Ergebnis nur, was das vereinfachte Modell aus den Eingaben berechnet; es ist dann kein belastbarer Schätzer für die Zielpopulation. Nenne diese Einschränkung im Bericht und leite keine Kausalwirkung aus der Formel allein ab.