Dein Lernbereich wird geladen
App wird gestartet …
Dein Lernbereich wird geladen
App wird gestartet …
Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird.
Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential
Formel
nat bei natürlichem Logarithmus; dimensionsloser Zahlenwert
| Symbol | Bedeutung | Einheit |
|---|---|---|
| Wahre Wahrscheinlichkeit des Ergebnisses i | dimensionslos | |
| Vergleichs- oder Modellwahrscheinlichkeit desselben Ergebnisses | dimensionslos | |
| DKL(p‖q) | Relative Entropie von q gegenüber p | nat |
D_{KL}(p\|q)=\sum_i p_i\ln\frac{p_i}{q_i}Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null behandelt. Bei ln ist die Einheit Nat, mit log2 Bit. Cross-Entropy und Shannon-Entropie hängen über H(p,q)=H(p)+DKL(p‖q) zusammen.
Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null behandelt. Bei ln ist die Einheit Nat, mit log2 Bit. Cross-Entropy und Shannon-Entropie hängen über H(p,q)=H(p)+DKL(p‖q) zusammen.
Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird.
Grundbeziehung
Die Gleichung beschreibt die Grundbeziehung innerhalb ihres angegebenen Gültigkeitsbereichs.
Erkläre am Beispiel zu Kullback-Leibler-Divergenz (relative Entropie), welche Eingabegrößen zur gesuchten Ausgabe führen.
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
Die Beziehung ohne ihre angegebenen Voraussetzungen auf einen anderen Fall übertragen.
Prüfe vor dem Einsetzen den Gültigkeitsbereich: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null.
Formelcluster
Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird.
Für p=(0,5;0,5) und q=(0,9;0,1) gilt DKL=0,5ln(0,5/0,9)+0,5ln(0,5/0,1)≈0,511 nat.
Wahrscheinlichkeitsmodelle vergleichen, Informationsverluste quantifizieren und Verteilungen in ML-Zielfunktionen auswerten.
Eine typische Aufgabe Schritt für Schritt: Kullback-Leibler-Divergenz (relative Entropie) (DKL(p‖q) = Σ pᵢ ln(pᵢ/qᵢ)).
Aufgabe
Erkläre am Beispiel zu Kullback-Leibler-Divergenz (relative Entropie), welche Eingabegrößen zur gesuchten Ausgabe führen.
Rechenweg
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
Die Beziehung DKL(p\|q)=\sum_i pi\ln\frac{pi}{qi} fasst Die KL-Divergenz misst den erwarteten Informationsnachteil, wenn q statt der wahren diskreten Verteilung p angenommen wird. zusammen. Lies sie als Modell für klar definierte Größen, nicht als automatische Aussage über jede reale Situation. Im Beispiel Für p=(0,5;0,5) und q=(0,9;0,1) gilt DKL=0,5ln(0,5/0,9)+0,5ln(0,5/0,1)≈0,511 nat. werden die Symbole mit konkreten Werten verbunden und das Ergebnis wird fachlich interpretiert. Gültigkeitsgrenze: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null Quelle: SciPy API Reference, scipy.stats.entropy (relative entropy).
Schreibe zuerst die gesuchte Größe und alle gegebenen Werte mit ihren Bezeichnungen auf. Setze sie in DKL(p\|q)=\sum_i pi\ln\frac{pi}{qi} ein und prüfe, ob die Einheiten zusammenpassen. Das Beispiel Für p=(0,5;0,5) und q=(0,9;0,1) gilt DKL=0,5ln(0,5/0,9)+0,5ln(0,5/0,1)≈0,511 nat. liefert eine Rechenprobe: Werte Formel und Ergebnis müssen dieselbe Größenordnung und Bedeutung ergeben; runde erst am Ende. Gültigkeitsgrenze: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null Quelle: SciPy API Reference, scipy.stats.entropy (relative entropy).
Die Formel gilt nur, wenn die Größen so definiert sind wie in der Quelle und im Hintergrundtext. Prüfe insbesondere Randfälle, Messbedingungen und ob ein Näherungszeichen statt Gleichheit gemeint ist. Ein formal korrektes Einsetzen kann trotzdem fachlich falsch sein, wenn diese Voraussetzungen verletzt werden oder die betrachtete Population beziehungsweise Systemgrenze wechselt. Gültigkeitsgrenze: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null Quelle: SciPy API Reference, scipy.stats.entropy (relative entropy).
Die angegebene Einheit lautet: nat bei natürlichem Logarithmus; dimensionsloser Zahlenwert. Vor dem Einsetzen müssen alle Werte auf ein konsistentes Einheitensystem gebracht werden; Anzahlen, Prozentangaben und dimensionslose Verhältnisse sind dabei nicht austauschbar. Die Variablenliste benennt die Rolle jedes Symbols. Einheitenkontrolle erkennt viele Fehler, ersetzt aber nicht die Prüfung, ob die Formelannahmen erfüllt sind. Gültigkeitsgrenze: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null Quelle: SciPy API Reference, scipy.stats.entropy (relative entropy).
Ein Vergleich hilft, wenn beide Größen dieselbe Aufgabe beantworten, aber unterschiedliche Eigenschaften betonen. Berichte Definition, Eingabedaten, Schwelle oder Aggregation zusammen mit dem Zahlenwert. Die Quelle SciPy API Reference, scipy.stats.entropy (relative entropy). stützt die hier verwendete Definition; bei anderen Konventionen können Ergebnisse abweichen. Verwende die Kennzahl deshalb passend zum konkreten Lern- oder Analyseziel. Gültigkeitsgrenze: Für diskrete Wahrscheinlichkeitsverteilungen summiert DKL pi ln(pi/qi). Sie ist nichtnegativ, aber nicht symmetrisch und keine Metrik. Wenn pi>0 und qi=0, divergiert sie; Terme mit pi=0 werden im Grenzwert als null Quelle: SciPy API Reference, scipy.stats.entropy (relative entropy).
Quanta-Prüfungsset
Kuratiertes Prüfungsset für "Kullback-Leibler-Divergenz (relative Entropie)":
Frage (Vorderseite)
Welche Formel beschreibt Kullback-Leibler-Divergenz (relative Entropie)?
Antwort in deinem Set
Frage (Vorderseite)
Welcher typische Fehler passiert bei DKL(p‖q) = Σ pᵢ ln(pᵢ/qᵢ)?
Antwort in deinem Set
+ 8 weitere Karten: Einheiten, Variablen, Herleitung, Beispiel, Klausuraufgabe
Das Formelset enthält 10 Karten. Nach der Übernahme kannst du sie prüfen und lernen; deine Bewertungen bestimmen die weiteren Wiederholungen.
Die Liste nennt Fachquellen und weiterführende Literatur. Eine Seiten- oder Abschnittsnummer steht dabei, wenn sie Teil der Literaturangabe ist; es handelt sich nicht um wörtliche Zitate.
Erstelle ein kuratiertes FSRS-Prüfungsset für DKL(p‖q) = Σ pᵢ ln(pᵢ/qᵢ): Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.
Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential