Kreuzentropie (Klassifikationsverlust)

Die Beziehung H(p,q)=-\sum_{i=1}^{K}p_i\ln q_i fasst Die Kreuzentropie bewertet, wie gut eine vorhergesagte Wahrscheinlichkeitsverteilung q eine Zielverteilung p beschreibt. zusammen. Lies sie als Modell für klar definierte Größen, nicht als automatische Aussage über jede reale Situation. Im Beispiel Bei Zielklasse 1 und Modellwahrscheinlichkeit q₁=0,8 beträgt der natürliche Log-Verlust −ln(0,8)≈0,223 nat. Bei q₁=0,1 steigt er auf −ln(0,1)≈2,303 nat. werden die Symbole mit konkreten Werten verbunden und das Ergebnis wird fachlich interpretiert. Gültigkeitsgrenze: Bei One-hot-Zielen ist genau ein p_i=1; der Verlust reduziert sich dann auf −ln(q der richtigen Klasse). Eine falsche, aber selbstsichere Vorhersage wird dadurch stark bestraft. Für Wahrscheinlichkeiten q_i=0 bei p_i>0 Quelle: scikit-learn, `log_loss`: binary log loss and cross-entropy definition.

Schreibe zuerst die gesuchte Größe und alle gegebenen Werte mit ihren Bezeichnungen auf. Setze sie in H(p,q)=-\sum_{i=1}^{K}p_i\ln q_i ein und prüfe, ob die Einheiten zusammenpassen. Das Beispiel Bei Zielklasse 1 und Modellwahrscheinlichkeit q₁=0,8 beträgt der natürliche Log-Verlust −ln(0,8)≈0,223 nat. Bei q₁=0,1 steigt er auf −ln(0,1)≈2,303 nat. liefert eine Rechenprobe: Werte Formel und Ergebnis müssen dieselbe Größenordnung und Bedeutung ergeben; runde erst am Ende. Gültigkeitsgrenze: Bei One-hot-Zielen ist genau ein p_i=1; der Verlust reduziert sich dann auf −ln(q der richtigen Klasse). Eine falsche, aber selbstsichere Vorhersage wird dadurch stark bestraft. Für Wahrscheinlichkeiten q_i=0 bei p_i>0 Quelle: scikit-learn, `log_loss`: binary log loss and cross-entropy definition.

Die Formel gilt nur, wenn die Größen so definiert sind wie in der Quelle und im Hintergrundtext. Prüfe insbesondere Randfälle, Messbedingungen und ob ein Näherungszeichen statt Gleichheit gemeint ist. Ein formal korrektes Einsetzen kann trotzdem fachlich falsch sein, wenn diese Voraussetzungen verletzt werden oder die betrachtete Population beziehungsweise Systemgrenze wechselt. Gültigkeitsgrenze: Bei One-hot-Zielen ist genau ein p_i=1; der Verlust reduziert sich dann auf −ln(q der richtigen Klasse). Eine falsche, aber selbstsichere Vorhersage wird dadurch stark bestraft. Für Wahrscheinlichkeiten q_i=0 bei p_i>0 Quelle: scikit-learn, `log_loss`: binary log loss and cross-entropy definition.

Die angegebene Einheit lautet: nat (natürlicher Logarithmus ln; wie bei scikit-learn log_loss). Vor dem Einsetzen müssen alle Werte auf ein konsistentes Einheitensystem gebracht werden; Anzahlen, Prozentangaben und dimensionslose Verhältnisse sind dabei nicht austauschbar. Die Variablenliste benennt die Rolle jedes Symbols. Einheitenkontrolle erkennt viele Fehler, ersetzt aber nicht die Prüfung, ob die Formelannahmen erfüllt sind. Gültigkeitsgrenze: Bei One-hot-Zielen ist genau ein p_i=1; der Verlust reduziert sich dann auf −ln(q der richtigen Klasse). Eine falsche, aber selbstsichere Vorhersage wird dadurch stark bestraft. Für Wahrscheinlichkeiten q_i=0 bei p_i>0 Quelle: scikit-learn, `log_loss`: binary log loss and cross-entropy definition.

Ein Vergleich hilft, wenn beide Größen dieselbe Aufgabe beantworten, aber unterschiedliche Eigenschaften betonen. Berichte Definition, Eingabedaten, Schwelle oder Aggregation zusammen mit dem Zahlenwert. Die Quelle scikit-learn, `log_loss`: binary log loss and cross-entropy definition. stützt die hier verwendete Definition; bei anderen Konventionen können Ergebnisse abweichen. Verwende die Kennzahl deshalb passend zum konkreten Lern- oder Analyseziel. Gültigkeitsgrenze: Bei One-hot-Zielen ist genau ein p_i=1; der Verlust reduziert sich dann auf −ln(q der richtigen Klasse). Eine falsche, aber selbstsichere Vorhersage wird dadurch stark bestraft. Für Wahrscheinlichkeiten q_i=0 bei p_i>0 Quelle: scikit-learn, `log_loss`: binary log loss and cross-entropy definition.