Dein Lernbereich wird geladen
App wird gestartet …
Dein Lernbereich wird geladen
App wird gestartet …
Der Informationsgewinn bewertet einen Kandidatensplit an einem Baumknoten als Verringerung der Labelentropie nach Aufteilung der Trainingsbeispiele.
Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential
Formel
Entropie und IG in Bit bei Logarithmusbasis 2; Wahrscheinlichkeiten dimensionslos
| Symbol | Bedeutung | Einheit |
|---|---|---|
| Klassenlabel der Beispiele am aktuellen Knoten | diskrete Zufallsvariable | |
| Kandidatensplit mit möglichen Kindwerten v | diskrete Aufteilung | |
| Labelentropie vor dem Split | Bit | |
| Anteil der Beispiele im Kind v | dimensionslos | |
| H(Y|S=v) | Labelentropie im Kind v | Bit |
IG(Y;S)=H(Y)-\sum_{v\in S}P(v)H(Y|S=v)Ein Split erhält den Informationsgewinn H(Y)−H(Y|S), also mathematisch die gegenseitige Information zwischen Label Y und Split-Ergebnis S in der empirischen Knotenverteilung. Der Entscheidungsbaum nutzt sie als lokale greedy Auswahlregel; sie misst weder Kausalität noch allgemeine Vorhersagegüte. Für mehrere Kinder wird deren Entropie mit den jeweiligen Stichprobenanteilen gewichtet. Kleine Blätter können scheinbar sehr hohe Gewinne erzeugen; Mindestblattgrößen, Validierung oder Regularisierung begrenzen Überanpassung. Logarithmusbasis 2 liefert Bit.
Ein Split erhält den Informationsgewinn H(Y)−H(Y|S), also mathematisch die gegenseitige Information zwischen Label Y und Split-Ergebnis S in der empirischen Knotenverteilung. Der Entscheidungsbaum nutzt sie als lokale greedy Auswahlregel; sie misst weder Kausalität noch allgemeine Vorhersagegüte. Für mehrere Kinder wird deren Entropie mit den jeweiligen Stichprobenanteilen gewichtet. Kleine Blätter können scheinbar sehr hohe Gewinne erzeugen; Mindestblattgrößen, Validierung oder Regularisierung begrenzen Überanpassung. Logarithmusbasis 2 liefert Bit.
Der Informationsgewinn bewertet einen Kandidatensplit an einem Baumknoten als Verringerung der Labelentropie nach Aufteilung der Trainingsbeispiele.
Kinderentropie aus IG
Die Zerlegung muss dieselbe Knotenstichprobe und Basis-2-Logarithmen verwenden.
Erkläre am Beispiel zu Informationsgewinn eines Entscheidungsbaum-Splits, welche Eingabegrößen zur gesuchten Ausgabe führen.
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Der Informationsgewinn bewertet einen Kandidatensplit an einem Baumknoten als Verringerung der Labelentropie nach Aufteilung der Trainingsbeispiele.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
Ein Elternknoten enthält 6 positive und 4 negative Fälle. Ein Split liefert links 4 positive Fälle, rechts 2 positive und 4 negative. Berechne IG.
Hparent≈0,971 Bit; Hlinks=0; Hrechts≈0,918 Bit.
HKinder=0,4·0+0,6·0,918≈0,551 Bit, somit IG≈0,420 Bit.
Probe: die Kindfälle summieren sich auf 6 positive und 4 negative.
Die Beziehung ohne ihre angegebenen Voraussetzungen auf einen anderen Fall übertragen.
Prüfe vor dem Einsetzen den Gültigkeitsbereich: Ein Split erhält den Informationsgewinn H(Y)−H(Y|S), also mathematisch die gegenseitige Information zwischen Label Y und Split-Ergebnis S in der empirischen Knotenverteilung. Der Entscheidungsbaum nutzt sie als lokale greedy Auswahlregel; sie.
Formelcluster
Der Informationsgewinn bewertet einen Kandidatensplit an einem Baumknoten als Verringerung der Labelentropie nach Aufteilung der Trainingsbeispiele.
Vor dem Split liegen 6 positive und 4 negative Fälle vor: H(Y)=−0,6log20,6−0,4log20,4≈0,971 Bit. Ein Split erzeugt links 4 positive Fälle (Entropie 0) und rechts 2 positive sowie 4 negative (H≈0,918). Gewichtet: 0,4·0+0,6·0,918≈0,551; IG≈0,971−0,551=0,420 Bit. Probe: beide Kinder enthalten zusammen wieder 6 positive und 4 negative Fälle.
Kandidatenaufteilungen in Klassifikationsbäumen vergleichen und die Verringerung der Labelunsicherheit quantifizieren.
Eine typische Aufgabe Schritt für Schritt: Informationsgewinn eines Entscheidungsbaum-Splits (IG = H(Y) − gewichtete Kinderentropie).
Aufgabe
Erkläre am Beispiel zu Informationsgewinn eines Entscheidungsbaum-Splits, welche Eingabegrößen zur gesuchten Ausgabe führen.
Rechenweg
Das Beispiel verknüpft konkrete Eingaben mit dem Ergebnis.
Der Informationsgewinn bewertet einen Kandidatensplit an einem Baumknoten als Verringerung der Labelentropie nach Aufteilung der Trainingsbeispiele.
Gültig ist die Beziehung nur unter den genannten Voraussetzungen.
Aufgabe
Ein Elternknoten enthält 6 positive und 4 negative Fälle. Ein Split liefert links 4 positive Fälle, rechts 2 positive und 4 negative. Berechne IG.
Rechenweg
Hparent≈0,971 Bit; Hlinks=0; Hrechts≈0,918 Bit.
HKinder=0,4·0+0,6·0,918≈0,551 Bit, somit IG≈0,420 Bit.
Probe: die Kindfälle summieren sich auf 6 positive und 4 negative.
Er vergleicht die Labelentropie vor einer Aufteilung mit dem nachher erwarteten Wert in den Kindknoten. Für jeden möglichen Kindwert wird dessen Entropie mit seinem Anteil an den Beispielen gewichtet. Ein höherer Wert bedeutet, dass der Split in dieser Stichprobe mehr Unsicherheit über das Label entfernt. Die Aussage gilt für die betrachteten Daten am aktuellen Knoten und beweist weder Ursache noch bessere Leistung auf neuen Daten. IG ist für einen konkreten Knoten und eine konkrete Aufteilung die Entropiereduktion des Labels; mathematisch entspricht es der gegenseitigen Information zwischen Label und Split-Ergebnis. Es ist eine lokale greedy Trainingsregel, kein Kausalitätsmaß. Kleine Blätter und viele getestete Splits können den empirischen Gewinn überhöhen; prüfe daher Mindestblattgrößen und Validierung.
Für ein festes Label Y und die Variable S, die den gewählten Kindknoten bezeichnet, gilt IG=H(Y)−H(Y|S)=I(Y;S). Der Informationsgewinn ist also mathematisch eine gegenseitige Information. Der Begriff betont hier die Anwendung als Auswahlwert für einen einzelnen Baum-Split. Allgemeine Mutual Information kann beliebige Zufallsvariablen und Verteilungen untersuchen; keine der beiden Größen zeigt eine kausale Richtung. IG ist für einen konkreten Knoten und eine konkrete Aufteilung die Entropiereduktion des Labels; mathematisch entspricht es der gegenseitigen Information zwischen Label und Split-Ergebnis. Es ist eine lokale greedy Trainingsregel, kein Kausalitätsmaß. Kleine Blätter und viele getestete Splits können den empirischen Gewinn überhöhen; prüfe daher Mindestblattgrößen und Validierung.
Die Größe eines Kindes bestimmt, wie häufig seine bedingte Labelunsicherheit im Elternknoten auftritt. Ein Kind mit 90 Prozent der Fälle muss daher stärker in die erwartete Kinderentropie eingehen als ein Kind mit 10 Prozent. Ohne diese Gewichtung würde ein winziges reines Blatt genauso zählen wie ein großes gemischtes Blatt. Die Gewichte summieren sich zu eins, wenn alle Fälle des Elternknotens genau einem Kind zugeordnet werden. IG ist für einen konkreten Knoten und eine konkrete Aufteilung die Entropiereduktion des Labels; mathematisch entspricht es der gegenseitigen Information zwischen Label und Split-Ergebnis. Es ist eine lokale greedy Trainingsregel, kein Kausalitätsmaß. Kleine Blätter und viele getestete Splits können den empirischen Gewinn überhöhen; prüfe daher Mindestblattgrößen und Validierung.
Im Elternknoten liegen 6 positive und 4 negative Fälle, also H≈0,971 Bit. Links liegen 4 positive Fälle und damit H=0; rechts liegen 2 positive und 4 negative Fälle, H≈0,918 Bit. Gewichtet ergeben sich 0,4·0+0,6·0,918≈0,551 Bit und IG≈0,420 Bit. Die Fallzahlen der Kinder addieren sich wieder auf 6 positive und 4 negative Fälle. IG ist für einen konkreten Knoten und eine konkrete Aufteilung die Entropiereduktion des Labels; mathematisch entspricht es der gegenseitigen Information zwischen Label und Split-Ergebnis. Es ist eine lokale greedy Trainingsregel, kein Kausalitätsmaß. Kleine Blätter und viele getestete Splits können den empirischen Gewinn überhöhen; prüfe daher Mindestblattgrößen und Validierung.
Ein Baum kann viele mögliche Merkmale und Schwellen prüfen. Bei kleinen Blättern lassen sich zufällige Muster leichter vollständig trennen, sodass der Trainingsgewinn hoch erscheint, obwohl er nicht reproduzierbar ist. Mindestblattgrößen, Begrenzung der Tiefe, pruning und eine getrennte Validierungsmenge wirken dem entgegen. Vergleiche Splits unter denselben Regeln und bewerte das gelernte Modell außerhalb der Trainingsstichprobe. IG ist für einen konkreten Knoten und eine konkrete Aufteilung die Entropiereduktion des Labels; mathematisch entspricht es der gegenseitigen Information zwischen Label und Split-Ergebnis. Es ist eine lokale greedy Trainingsregel, kein Kausalitätsmaß. Kleine Blätter und viele getestete Splits können den empirischen Gewinn überhöhen; prüfe daher Mindestblattgrößen und Validierung.
Quanta-Prüfungsset
Kuratiertes Prüfungsset für "Informationsgewinn eines Entscheidungsbaum-Splits":
Frage (Vorderseite)
Welche Formel beschreibt Informationsgewinn eines Entscheidungsbaum-Splits?
Antwort in deinem Set
Frage (Vorderseite)
Wie stellst du IG = H(Y) − gewichtete Kinderentropie nach Kinderentropie aus IG um?
Antwort in deinem Set
Frage (Vorderseite)
Welcher typische Fehler passiert bei IG = H(Y) − gewichtete Kinderentropie?
Antwort in deinem Set
+ 8 weitere Karten: Einheiten, Variablen, Herleitung, Beispiel, Klausuraufgabe
Das Formelset enthält 11 Karten. Nach der Übernahme kannst du sie prüfen und lernen; deine Bewertungen bestimmen die weiteren Wiederholungen.
Die Liste nennt Fachquellen und weiterführende Literatur. Eine Seiten- oder Abschnittsnummer steht dabei, wenn sie Teil der Literaturangabe ist; es handelt sich nicht um wörtliche Zitate.
Erstelle ein kuratiertes FSRS-Prüfungsset für IG = H(Y) − gewichtete Kinderentropie: Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.
Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential