Maximum-Likelihood-Schätzung

Die Maximum-Likelihood-Schätzung wählt den Parameter, unter dem die beobachteten Daten im angenommenen Modell die größte Likelihood besitzen. Die Schreibweise θ̂ML = arg maxθ L(θ | x₁,…,x_n) macht sichtbar, welche Größen zusammenhängen. Dabei bedeuten θ̂ML: Parameterwert mit maximaler Likelihood (passend zur Parametrisierung); L(θ|x): Likelihood der beobachteten Daten als Funktion von θ (dimensionslos oder modellabhängig); x_i: beobachtete Datenwerte (Einheit der Messgröße). θ̂ hat die Einheit des geschätzten Parameters; Likelihood und Log-Likelihood sind im diskreten Beispiel dimensionslos. Für die Anwendung ist entscheidend, ob die gegebenen Größen dieselbe Bedeutung und Bezugsrichtung wie in der Definition haben. Typische Aufgaben verwenden die Beziehung für Parameter von Wahrscheinlichkeitsmodellen anhand beobachteter Stichproben schätzen und Modelle vergleichen.. Lies daher zuerst die Größen und ihre Dimensionen, bevor du Zahlen einsetzt; so erkennst du zum Beispiel sofort, ob das Ergebnis eine Länge, Rate, Wahrscheinlichkeit oder dimensionslose Kennzahl sein muss.

Beginne mit einer Skizze oder einer Liste der bekannten Größen, ordne jede Größe einem Symbol zu und bringe Einheiten in eine gemeinsame Form. Dann wähle die passende Gleichungsform und setze erst danach Werte ein. Beispiel: Bei 10 unabhängigen Bernoulli-Versuchen treten 7 Erfolge auf. L(p)=p⁷(1−p)³; die Log-Likelihood hat Ableitung 7/p−3/(1−p)=0, also p̂=7/10=0,7. Probe: Die zweite Ableitung ist bei p=0,7 negativ; der zulässige stationäre Punkt ist ein Maximum. Die Probe ist Teil der Rechnung: Die Likelihood behandelt die beobachteten x_i als fest und vergleicht mögliche Parameterwerte Vergleiche zusätzlich Größenordnung und Einheit mit dem Sachkontext. Runde erst am Schluss, denn vorzeitiges Runden kann bei mehreren Rechenschritten besonders bei kleinen Differenzen oder Summen sichtbar auf das Ergebnis durchschlagen.

Die Likelihood behandelt die beobachteten x_i als fest und vergleicht mögliche Parameterwerte. Bei unabhängigen Beobachtungen ist sie das Produkt der Einzelwahrscheinlichkeiten beziehungsweise Dichten; oft maximiert man stattdessen die Log-Likelihood. Ein Maximum kann am Rand des Parameterraums liegen oder nicht eindeutig sein. MLE ist nicht automatisch erwartungstreu, besonders bei kleinen Stichproben, und die Aussage hängt vom gewählten Modell ab. Das ist keine nebensächliche Fußnote: Bei einer Verletzung der Annahmen kann die Formel ein präzises, aber unpassendes Ergebnis liefern. Kontrolliere deshalb vor dem Rechnen, welche Werte beobachtet, geschätzt oder modelliert sind und ob Sonderfälle die Gleichung ändern. Parameter von Wahrscheinlichkeitsmodellen anhand beobachteter Stichproben schätzen und Modelle vergleichen. Bei numerischen Verfahren prüfe außerdem Schrittweite und Stabilität; bei Statistik Stichprobendesign und Verteilung; bei Analysis Differenzierbarkeit, Rand und Orientierung. Verwende eine alternative Methode, wenn diese Bedingungen nicht erfüllt sind.

Beide Beziehungen passen in denselben Themenbereich, beantworten aber verschiedene Fragen. „Maximum-Likelihood-Schätzung“: Die Maximum-Likelihood-Schätzung wählt den Parameter, unter dem die beobachteten Daten im angenommenen Modell die größte Likelihood besitzen. Die Anschlussformel „Normalverteilung (Gaußsche Glockenkurve)“ Die Normalverteilung ist die wichtigste Wahrscheinlichkeitsverteilung — sie beschreibt viele natürliche Phänomene. Wähle zuerst nach der gesuchten Größe und dem Modell: Parameter von Wahrscheinlichkeitsmodellen anhand beobachteter Stichproben schätzen und Modelle vergleichen. Die Beispielrechnung Bei 10 unabhängigen Bernoulli-Versuchen treten 7 Erfolge auf. L(p)=p⁷(1−p)³; die Log-Likelihood hat Ableitung 7/p−3/(1−p)=0, also p̂=7/10=0,7. Probe: Die zweite Ableitung ist bei p=0,7 negativ; der zulässige stationäre Punkt ist ein Maximum. zeigt, welche Größen in dieser Beziehung tatsächlich eingehen. Ein sinnvoller Lernschritt ist, beide Formeln mit denselben Ausgangsdaten zu vergleichen und zu markieren, welche Zusatzannahme die zweite benötigt. So wird aus einer Merkliste eine nachvollziehbare Auswahlregel.

MLE maximiert die Likelihood als Funktion des unbekannten Parameters; die beobachteten Daten bleiben fest. Im Bernoulli-Beispiel lautet sie L(p)=p⁷(1−p)³. Die Ableitung der Log-Likelihood liefert p̂=0,7; eine negative zweite Ableitung bestätigt das Maximum. Prüfe vor der Deutung, ob die Beobachtungen unabhängig sind und dasselbe Erfolgs-p teilen. Das Ergebnis ist keine Wahrscheinlichkeit dafür, dass der Parameter exakt 0,7 beträgt. Bei kleinen Stichproben kann ein MLE verzerrt sein; ein Unsicherheitsintervall beschreibt zusätzlich die Schätzunsicherheit. Berichte auch Stichprobengröße und Modellannahmen. Schätzer und Intervall sind verschiedene Aussagen.