Logistische Regression: Bernoulli-Likelihood

Die Beziehung p_i=\sigma(w^Tx_i+b),\quad -\ell= -\sum_i[y_i\log p_i+(1-y_i)\log(1-p_i)] fasst Logistische Regression schätzt binäre Klassenwahrscheinlichkeiten mit einer Sigmoidfunktion und passt Parameter durch Maximierung der Bernoulli-Likelihood an. zusammen. Lies sie als Modell für klar definierte Größen, nicht als automatische Aussage über jede reale Situation. Im Beispiel Für zwei Beobachtungen mit Scores ±ln(3) sind p₁=0,75 bei Label 1 und p₂=0,25 bei Label 0. Die Likelihood ist 0,75·(1−0,25)=0,5625; negative Log-Likelihood =−ln(0,5625)≈0,575 nats. Gute Vorhersagen erhöhen die Likelihood und senken den Loss. werden die Symbole mit konkreten Werten verbunden und das Ergebnis wird fachlich interpretiert. Gültigkeitsgrenze: Das Modell setzt logit(p_i)=wᵀx_i+b. Unter bedingt unabhängigen Bernoulli-Beobachtungen ist die Likelihood das Produkt p_i^{y_i}(1−p_i)^{1−y_i}; Logarithmieren macht das Produkt zur Summe. Minimiert wird häufig die negative Log-Likelihood plus Regularisierung. Die Sigmoid Quelle: scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss.

Schreibe zuerst die gesuchte Größe und alle gegebenen Werte mit ihren Bezeichnungen auf. Setze sie in p_i=\sigma(w^Tx_i+b),\quad -\ell= -\sum_i[y_i\log p_i+(1-y_i)\log(1-p_i)] ein und prüfe, ob die Einheiten zusammenpassen. Das Beispiel Für zwei Beobachtungen mit Scores ±ln(3) sind p₁=0,75 bei Label 1 und p₂=0,25 bei Label 0. Die Likelihood ist 0,75·(1−0,25)=0,5625; negative Log-Likelihood =−ln(0,5625)≈0,575 nats. Gute Vorhersagen erhöhen die Likelihood und senken den Loss. liefert eine Rechenprobe: Werte Formel und Ergebnis müssen dieselbe Größenordnung und Bedeutung ergeben; runde erst am Ende. Gültigkeitsgrenze: Das Modell setzt logit(p_i)=wᵀx_i+b. Unter bedingt unabhängigen Bernoulli-Beobachtungen ist die Likelihood das Produkt p_i^{y_i}(1−p_i)^{1−y_i}; Logarithmieren macht das Produkt zur Summe. Minimiert wird häufig die negative Log-Likelihood plus Regularisierung. Die Sigmoid Quelle: scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss.

Die Formel gilt nur, wenn die Größen so definiert sind wie in der Quelle und im Hintergrundtext. Prüfe insbesondere Randfälle, Messbedingungen und ob ein Näherungszeichen statt Gleichheit gemeint ist. Ein formal korrektes Einsetzen kann trotzdem fachlich falsch sein, wenn diese Voraussetzungen verletzt werden oder die betrachtete Population beziehungsweise Systemgrenze wechselt. Gültigkeitsgrenze: Das Modell setzt logit(p_i)=wᵀx_i+b. Unter bedingt unabhängigen Bernoulli-Beobachtungen ist die Likelihood das Produkt p_i^{y_i}(1−p_i)^{1−y_i}; Logarithmieren macht das Produkt zur Summe. Minimiert wird häufig die negative Log-Likelihood plus Regularisierung. Die Sigmoid Quelle: scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss.

Die angegebene Einheit lautet: p_i dimensionslos in (0,1); y_i∈{0,1}; Log-Loss in nats bei natürlichem Logarithmus. Vor dem Einsetzen müssen alle Werte auf ein konsistentes Einheitensystem gebracht werden; Anzahlen, Prozentangaben und dimensionslose Verhältnisse sind dabei nicht austauschbar. Die Variablenliste benennt die Rolle jedes Symbols. Einheitenkontrolle erkennt viele Fehler, ersetzt aber nicht die Prüfung, ob die Formelannahmen erfüllt sind. Gültigkeitsgrenze: Das Modell setzt logit(p_i)=wᵀx_i+b. Unter bedingt unabhängigen Bernoulli-Beobachtungen ist die Likelihood das Produkt p_i^{y_i}(1−p_i)^{1−y_i}; Logarithmieren macht das Produkt zur Summe. Minimiert wird häufig die negative Log-Likelihood plus Regularisierung. Die Sigmoid Quelle: scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss.

Ein Vergleich hilft, wenn beide Größen dieselbe Aufgabe beantworten, aber unterschiedliche Eigenschaften betonen. Berichte Definition, Eingabedaten, Schwelle oder Aggregation zusammen mit dem Zahlenwert. Die Quelle scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss. stützt die hier verwendete Definition; bei anderen Konventionen können Ergebnisse abweichen. Verwende die Kennzahl deshalb passend zum konkreten Lern- oder Analyseziel. Gültigkeitsgrenze: Das Modell setzt logit(p_i)=wᵀx_i+b. Unter bedingt unabhängigen Bernoulli-Beobachtungen ist die Likelihood das Produkt p_i^{y_i}(1−p_i)^{1−y_i}; Logarithmieren macht das Produkt zur Summe. Minimiert wird häufig die negative Log-Likelihood plus Regularisierung. Die Sigmoid Quelle: scikit-learn User Guide, §1.1 Linear Models: Logistic regression and log loss.