Diskrete Markov-Kette und Übergangsmatrix

Eine diskrete Markov-Kette entwickelt Zustände mit einer Übergangsmatrix; der nächste Zustand hängt bedingt nur vom aktuellen Zustand ab. Die Schreibweise π_n+1 = π_nP; P_ij = P(X_n+1=j | X_n=i) macht sichtbar, welche Größen zusammenhängen. Dabei bedeuten π_n: Zeilenvektor der Zustandswahrscheinlichkeiten zum Schritt n (dimensionslos, 0…1); P_ij: Übergangswahrscheinlichkeit vom Zustand i nach j (dimensionslos, 0…1); n: diskrete Schrittzahl (Anzahl). Übergangswahrscheinlichkeiten und Zustandswahrscheinlichkeiten sind dimensionslos; jede Matrixzeile summiert sich zu 1. Für die Anwendung ist entscheidend, ob die gegebenen Größen dieselbe Bedeutung und Bezugsrichtung wie in der Definition haben. Typische Aufgaben verwenden die Beziehung für Zustandswechsel, Warteschlangen, Zuverlässigkeit, zufällige Spaziergänge und langfristige Besuchshäufigkeiten modellieren.. Lies daher zuerst die Größen und ihre Dimensionen, bevor du Zahlen einsetzt; so erkennst du zum Beispiel sofort, ob das Ergebnis eine Länge, Rate, Wahrscheinlichkeit oder dimensionslose Kennzahl sein muss.

Beginne mit einer Skizze oder einer Liste der bekannten Größen, ordne jede Größe einem Symbol zu und bringe Einheiten in eine gemeinsame Form. Dann wähle die passende Gleichungsform und setze erst danach Werte ein. Beispiel: Mit P=[0,8 0,2; 0,3 0,7] und π₀=(1;0) als Zeilenvektor folgt π₁=(0,8;0,2). Die stationäre Verteilung ist π=(0,6;0,4): πP=(0,6·0,8+0,4·0,3; 0,6·0,2+0,4·0,7)=(0,6;0,4). Probe: Die Einträge sind nichtnegativ und summieren zu 1. Die Probe ist Teil der Rechnung: Hier werden Wahrscheinlichkeitsverteilungen als Zeilenvektoren geschrieben, daher gilt π_n+1=π_nP Vergleiche zusätzlich Größenordnung und Einheit mit dem Sachkontext. Runde erst am Schluss, denn vorzeitiges Runden kann bei mehreren Rechenschritten besonders bei kleinen Differenzen oder Summen sichtbar auf das Ergebnis durchschlagen.

Hier werden Wahrscheinlichkeitsverteilungen als Zeilenvektoren geschrieben, daher gilt π_n+1=π_nP. Jede Zeile von P muss nichtnegative Einträge mit Summe 1 enthalten. Die Markov-Annahme lautet: Vergangene Zustände beeinflussen den nächsten Schritt nicht zusätzlich, sobald der aktuelle Zustand bekannt ist. Eine stationäre Verteilung π erfüllt πP=π; ihre Eindeutigkeit oder Konvergenz folgt nicht allein aus dieser Gleichung, sondern braucht Bedingungen wie Irreduzibilität und Aperiodizität. Das ist keine nebensächliche Fußnote: Bei einer Verletzung der Annahmen kann die Formel ein präzises, aber unpassendes Ergebnis liefern. Kontrolliere deshalb vor dem Rechnen, welche Werte beobachtet, geschätzt oder modelliert sind und ob Sonderfälle die Gleichung ändern. Zustandswechsel, Warteschlangen, Zuverlässigkeit, zufällige Spaziergänge und langfristige Besuchshäufigkeiten modellieren. Bei numerischen Verfahren prüfe außerdem Schrittweite und Stabilität; bei Statistik Stichprobendesign und Verteilung; bei Analysis Differenzierbarkeit, Rand und Orientierung. Verwende eine alternative Methode, wenn diese Bedingungen nicht erfüllt sind.

Beide Beziehungen passen in denselben Themenbereich, beantworten aber verschiedene Fragen. „Diskrete Markov-Kette und Übergangsmatrix“: Eine diskrete Markov-Kette entwickelt Zustände mit einer Übergangsmatrix; der nächste Zustand hängt bedingt nur vom aktuellen Zustand ab. Die Anschlussformel „Eigenwerte und Eigenvektoren“ Eigenvektoren behalten unter einer linearen Abbildung ihre Richtung; der zugehörige Eigenwert gibt den Streckungsfaktor an. Die Eigenwerte erhält man aus der charakteristischen Gleichung. Wähle zuerst nach der gesuchten Größe und dem Modell: Zustandswechsel, Warteschlangen, Zuverlässigkeit, zufällige Spaziergänge und langfristige Besuchshäufigkeiten modellieren. Die Beispielrechnung Mit P=[0,8 0,2; 0,3 0,7] und π₀=(1;0) als Zeilenvektor folgt π₁=(0,8;0,2). Die stationäre Verteilung ist π=(0,6;0,4): πP=(0,6·0,8+0,4·0,3; 0,6·0,2+0,4·0,7)=(0,6;0,4). Probe: Die Einträge sind nichtnegativ und summieren zu 1. zeigt, welche Größen in dieser Beziehung tatsächlich eingehen. Ein sinnvoller Lernschritt ist, beide Formeln mit denselben Ausgangsdaten zu vergleichen und zu markieren, welche Zusatzannahme die zweite benötigt. So wird aus einer Merkliste eine nachvollziehbare Auswahlregel.

Mit Zeilenvektoren ist die nächste Verteilung π_n+1=π_nP. Im Beispiel ist π=(0,6;0,4) stationär, denn πP=π. Daraus folgt nicht, dass jede Startverteilung gegen π konvergiert. Dafür braucht die Kette im Allgemeinen weitere Eigenschaften, etwa Irreduzibilität und Aperiodizität; periodische Ketten können oszillieren. Prüfe vor dem Multiplizieren, dass jede Zeile von P zu 1 summiert und π als Zeilenvektor notiert ist. Diese Orientierung entscheidet, ob die Übergangsmatrix links oder rechts multipliziert wird. Bei endlichen Zustandsräumen löst man πP=π zusammen mit der Normierung, die Gesamtwahrscheinlichkeit eins festlegt.