Dein Lernbereich wird geladen
App wird gestartet …
Dein Lernbereich wird geladen
App wird gestartet …
Mutual Information misst, wie stark die Beobachtung von Y die Unsicherheit über X im Mittel verringert.
Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential
Formel
Bit bei Logarithmusbasis 2; nichtnegativ für diskrete Variablen
| Symbol | Bedeutung | Einheit |
|---|---|---|
| I(X;Y) | Gegenseitige Information der Variablen X und Y | Bit |
| H(X), H(Y) | Entropien der Randverteilungen | Bit |
| Gemeinsame Entropie der Verteilung | Bit | |
| H(X|Y) | Bedingte Entropie von X nach Beobachtung von Y | Bit |
I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)Für diskrete Zufallsvariablen gilt I(X;Y)=Σx,ᵧ p(x,y)log2[p(x,y)/(p(x)p(y))]. Die Entropieformeln sind äquivalent und setzen dieselbe gemeinsame Verteilung voraus. I ist nichtnegativ und genau null bei statistischer Unabhängigkeit. Bei identischen Variablen entspricht I(X;X) der Entropie H(X). Mutual Information misst Abhängigkeit, aber nicht deren Richtung oder kausale Wirkung.
Für diskrete Zufallsvariablen gilt I(X;Y)=Σx,ᵧ p(x,y)log2[p(x,y)/(p(x)p(y))]. Die Entropieformeln sind äquivalent und setzen dieselbe gemeinsame Verteilung voraus. I ist nichtnegativ und genau null bei statistischer Unabhängigkeit. Bei identischen Variablen entspricht I(X;X) der Entropie H(X). Mutual Information misst Abhängigkeit, aber nicht deren Richtung oder kausale Wirkung.
Mutual Information misst, wie stark die Beobachtung von Y die Unsicherheit über X im Mittel verringert.
Bedingte Entropie
Logarithmusbasis und gemeinsame Verteilung konsistent halten.
Erkläre am Beispiel zu Gegenseitige Information diskreter Variablen, welche Eingabegrößen zur gesuchten Ausgabe führen.
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Mutual Information misst, wie stark die Beobachtung von Y die Unsicherheit über X im Mittel verringert.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
Die Beziehung ohne ihre angegebenen Voraussetzungen auf einen anderen Fall übertragen.
Prüfe vor dem Einsetzen den Gültigkeitsbereich: Für diskrete Zufallsvariablen gilt I(X;Y)=Σx,ᵧ p(x,y)log2[p(x,y)/(p(x)p(y))]. Die Entropieformeln sind äquivalent und setzen dieselbe gemeinsame Verteilung voraus. I ist nichtnegativ und genau null bei statistischer Unabhängigkeit. Bei identischen Variablen entspricht I(X;X).
Formelcluster
Mutual Information misst, wie stark die Beobachtung von Y die Unsicherheit über X im Mittel verringert.
Sind X und Y identische faire Bits, dann H(X)=H(Y)=H(X,Y)=1 Bit und I=1+1−1=1 Bit. Bei unabhängigen fairen Bits ist I=0.
Abhängigkeiten in diskreten Daten, Merkmalsauswahl und Informationsgewinn beurteilen.
Eine typische Aufgabe Schritt für Schritt: Gegenseitige Information diskreter Variablen (I(X;Y) = H(X) − H(X|Y)).
Aufgabe
Erkläre am Beispiel zu Gegenseitige Information diskreter Variablen, welche Eingabegrößen zur gesuchten Ausgabe führen.
Rechenweg
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Mutual Information misst, wie stark die Beobachtung von Y die Unsicherheit über X im Mittel verringert.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
I(X;Y) misst, wie viel die Beobachtung von Y im Mittel über X verrät. Äquivalent ist es die Verringerung der Unsicherheit: H(X)−H(X|Y). Sind X und Y unabhängig, liefert Y keine Information über X und I=0. Der Wert ist symmetrisch, also I(X;Y)=I(Y;X), und für diskrete Variablen nichtnegativ. Die Identitäten gelten für diskrete Variablen und Wahrscheinlichkeiten derselben gemeinsamen Verteilung. Mutual Information erfasst statistische Abhängigkeit, beweist jedoch keine Ursache-Wirkung-Beziehung. Bei empirischen Daten können Schätzer durch Stichprobengröße und Diskretisierung beeinflusst werden; dokumentiere diese Entscheidungen, wenn du Ergebnisse vergleichst. Bei unbekannten Verteilungen wird MI geschätzt; kleine Stichproben und Diskretisierung können den Wert verzerren.
Bestimme H(X), H(Y) und die gemeinsame Entropie H(X,Y) aus derselben gemeinsamen Tabelle. Dann gilt I=H(X)+H(Y)−H(X,Y). Für identische faire Bits sind alle drei Entropien jeweils ein Bit, also I=1+1−1=1 Bit. Verwende überall dieselbe Logarithmusbasis; mit Basis zwei lautet die Einheit Bit. Die Identitäten gelten für diskrete Variablen und Wahrscheinlichkeiten derselben gemeinsamen Verteilung. Mutual Information erfasst statistische Abhängigkeit, beweist jedoch keine Ursache-Wirkung-Beziehung. Bei empirischen Daten können Schätzer durch Stichprobengröße und Diskretisierung beeinflusst werden; dokumentiere diese Entscheidungen, wenn du Ergebnisse vergleichst. Bei unbekannten Verteilungen wird MI geschätzt; kleine Stichproben und Diskretisierung können den Wert verzerren.
Für diskrete Variablen ist gegenseitige Information genau dann null, wenn X und Y statistisch unabhängig sind. Das bedeutet, dass Wissen über einen Wert die Wahrscheinlichkeitsverteilung des anderen nicht verändert. Ein empirischer Schätzer kann bei endlichen Stichproben trotzdem einen Wert ungleich null liefern. Unterscheide daher theoretische Unabhängigkeit von einer Schätzung aus beobachteten Daten. Die Identitäten gelten für diskrete Variablen und Wahrscheinlichkeiten derselben gemeinsamen Verteilung. Mutual Information erfasst statistische Abhängigkeit, beweist jedoch keine Ursache-Wirkung-Beziehung. Bei empirischen Daten können Schätzer durch Stichprobengröße und Diskretisierung beeinflusst werden; dokumentiere diese Entscheidungen, wenn du Ergebnisse vergleichst. Bei unbekannten Verteilungen wird MI geschätzt; kleine Stichproben und Diskretisierung können den Wert verzerren.
Nein. Obwohl man I(X;Y) als Informationsgewinn über X durch Y lesen kann, gilt auch I(X;Y)=I(Y;X). Die Größe beschreibt statistische Abhängigkeit ohne festgelegte Wirkungsrichtung. Für gerichtete Fragen braucht man etwa bedingte Größen, zeitliche Modelle oder ein kausales Design. Aus einem großen MI-Wert allein darf keine Ursache abgeleitet werden. Die Identitäten gelten für diskrete Variablen und Wahrscheinlichkeiten derselben gemeinsamen Verteilung. Mutual Information erfasst statistische Abhängigkeit, beweist jedoch keine Ursache-Wirkung-Beziehung. Bei empirischen Daten können Schätzer durch Stichprobengröße und Diskretisierung beeinflusst werden; dokumentiere diese Entscheidungen, wenn du Ergebnisse vergleichst. Bei unbekannten Verteilungen wird MI geschätzt; kleine Stichproben und Diskretisierung können den Wert verzerren.
Shannon-Entropie H(X) misst die Unsicherheit einer einzelnen Verteilung. Mutual Information vergleicht gemeinsame und unabhängige Verteilungen und misst, wie viel zwei Variablen teilen. Für identische diskrete Variablen gilt I(X;X)=H(X); für unabhängige Variablen ist MI null. Der Höchstwert wird durch die Entropie der beteiligten Variablen begrenzt. Die Identitäten gelten für diskrete Variablen und Wahrscheinlichkeiten derselben gemeinsamen Verteilung. Mutual Information erfasst statistische Abhängigkeit, beweist jedoch keine Ursache-Wirkung-Beziehung. Bei empirischen Daten können Schätzer durch Stichprobengröße und Diskretisierung beeinflusst werden; dokumentiere diese Entscheidungen, wenn du Ergebnisse vergleichst. Bei unbekannten Verteilungen wird MI geschätzt; kleine Stichproben und Diskretisierung können den Wert verzerren.
Quanta-Prüfungsset
Kuratiertes Prüfungsset für "Gegenseitige Information diskreter Variablen":
Frage (Vorderseite)
Welche Formel beschreibt Gegenseitige Information diskreter Variablen?
Antwort in deinem Set
Frage (Vorderseite)
Wie stellst du I(X;Y) = H(X) − H(X|Y) nach Bedingte Entropie um?
Antwort in deinem Set
Frage (Vorderseite)
Welcher typische Fehler passiert bei I(X;Y) = H(X) − H(X|Y)?
Antwort in deinem Set
+ 7 weitere Karten: Einheiten, Variablen, Herleitung, Beispiel, Klausuraufgabe
Das Formelset enthält 10 Karten. Nach der Übernahme kannst du sie prüfen und lernen; deine Bewertungen bestimmen die weiteren Wiederholungen.
Die Liste nennt Fachquellen und weiterführende Literatur. Eine Seiten- oder Abschnittsnummer steht dabei, wenn sie Teil der Literaturangabe ist; es handelt sich nicht um wörtliche Zitate.
Erstelle ein kuratiertes FSRS-Prüfungsset für I(X;Y) = H(X) − H(X|Y): Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.
Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential