Informatik & Data Science · Informationstheorie

Shannon-Entropie

Die Shannon-Entropie ist die erwartete Informationsmenge eines diskreten Zufallsversuchs und misst die Unsicherheit seiner Wahrscheinlichkeitsverteilung in Bit.

FortgeschrittenBachelor-GrundlagenFachvertiefung

Karteikarten oder Test erstellen Ich habe schon ein Konto

Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential

Formel

Berechnen

H (X) = - i = 1 \sum n p_{i} lo g_{2} p_{i}

H in Bit; p_i dimensionslos, 0 ≤ p_i ≤ 1 und Σp_i = 1

Variablen & Einheiten

Variablen & Einheiten
Symbol	Bedeutung	Einheit
$H(X)$	Entropie der Zufallsvariable X	Bit
$pᵢ$	Wahrscheinlichkeit des Ergebnisses i	dimensionslos
$n$	Anzahl möglicher Ergebnisse	Anzahl

LaTeX

H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i

QUANTA STUDYquanta-study.de

Kurve der binären Shannon-Entropie von p = 0 bis 1. Sie beginnt bei null, steigt symmetrisch zum Maximum von 1 Bit bei 0,5 und fällt wieder auf null. — Binäre Entropie H(p): Das Maximum beträgt 1 Bit bei p = 0,5. Sichere Ergebnisse bei p = 0 oder 1 haben Entropie null.

Shannon-Entropie berechnen

Entropie in Bit aus einer vollständigen Liste von Wahrscheinlichkeiten mit Summe genau 1 oder aus gezählten Häufigkeiten ausrechnen.

Rechenmodell

Ausgabe 1

Ausgabe 2

Ausgabe 3

Mit Beispielwerten gefüllt. Tippe eigene Werte ein, das Ergebnis rechnet sofort mit.

Rechenweg · umstellen nach H, einsetzen, ausrechnen

1. Formel nach H umstellen
$H=-\sum_{p_i>0}p_i\log_2p_i$
2. Werte einsetzen (in SI-Einheiten)
$-\left(0{,}5\right)\cdot\log_2\left(0{,}5\right)+-\left(0{,}25\right)\cdot\log_2\left(0{,}25\right)+-\left(0{,}25\right)\cdot\log_2\left(0{,}25\right)=\left(1{,}5\right)$
3. Ergebnis
H = 1,5 bit

Eingegebene Summe: 1; keine Normierung. Maximale Entropie einer exakt normierten Liste mit 3 Ausgaben: 1.584962500721156 bit.

Ergebnis: Mittlere diskrete Information pro Ausgabe H

H = 1,5 bit

Mit 0,5, 0,25 und 0,25 ergibt sich H = 1,5 bit.

So rechnest du schneller

Gleichverteilung gibt das Maximum: Bei n gleich wahrscheinlichen Ausgängen ist H = log₂ n, also 1 bit für eine Münze und 2 bit für vier Ausgänge.
Kopfrechnen bei Zweierpotenzen: p = 1/2ᵏ trägt k · p bei. Für 1/2, 1/4 und 1/4 also 0,5 + 0,5 + 0,5 = 1,5 bit.

Annahmen und Grenzen

Endliche vollständige diskrete Ausgaben, keine stetige Dichte oder differentielle Entropie. Nullwahrscheinlichkeit trägt 0 bei; log(0) wird nicht ausgewertet. Entropie ist ein Wahrscheinlichkeitsmittel, keine Bedeutung/Dateigröße und keine Annahme unabhängiger Folgen. Ergebnis und Einzelbeiträge in bit pro Ausgabe; nat-Ausgabe multipliziert mit ln 2. Maximal 100 Zeilen ist eine Bediengrenze, keine Physik-/Informationstheoriegrenze. Jede Wahrscheinlichkeit in [0,1]. Kompensierte Summe muss höchstens 10⁻¹² absolut von 1 abweichen (numerische Eingabetoleranz). Keine stille Normierung; der eingegebene Summenwert wird angezeigt. Diese Toleranz ersetzt keine vollständige fachlich passende Verteilung.

Herleitung & Hintergrund

Der Logarithmus zur Basis 2 macht die Einheit Bit. Jeder mögliche Ausgang trägt seine Überraschung −log₂(p_i) bei; die Entropie mittelt diese Überraschung mit den Wahrscheinlichkeiten p_i. Terme mit p_i = 0 werden per Grenzwert als 0 definiert. Bei n möglichen Ergebnissen liegt H zwischen 0 und log₂(n); das Maximum entsteht bei Gleichverteilung. Entropie beschreibt die Quelle bzw. Verteilung, nicht direkt die Länge jeder einzelnen konkreten Nachricht.

Prüfungs-Blueprint

Gültigkeitsbereich

Endliche diskrete Wahrscheinlichkeitsverteilung mit p_i ≥ 0 und Σp_i = 1; Basis 2 ergibt Bit. Nullterme zählen per Grenzwert als null. Eine Dateigröße oder differentielle Entropie folgt daraus nicht direkt.

Herleitung in Schritten

Die Entropie ist der Erwartungswert des logarithmischen Informationsgehalts.

1Diskrete Ergebnisse und Wahrscheinlichkeiten $p_i\ge0$ mit $\sum_i p_i=1$ festlegen.
2Für $p_i>0$ den Informationsgehalt $I_i=-\log_2p_i$ bestimmen. Basis 2 ergibt Bit.
3Jeden Informationswert mit seiner Wahrscheinlichkeit gewichten: $p_iI_i$ .
4Alle Beiträge addieren: $H(X)=\sum_i p_iI_i=-\sum_i p_i\log_2p_i$ .
5Für $p_i=0$ den gesamten Beitrag per Grenzwert auf null setzen; $\log_2(0)$ nicht einzeln auswerten.
6Mit $0\le H\le\log_2n$ kontrollieren; das Maximum gilt bei n gleich wahrscheinlichen Ergebnissen.

Umstellen

Grundbeziehung

H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i

Die Gleichung beschreibt die Grundbeziehung innerhalb ihres angegebenen Gültigkeitsbereichs.

Aufgabenvariante

Berechne H für die Wahrscheinlichkeiten (1/2, 1/4, 1/8, 1/8).

Die Informationswerte sind 1, 2, 3, 3 Bit.
Gewichtet: H = 1/2 + 2/4 + 3/8 + 3/8 = 1,75 Bit.

Typische Fehler

Informationswerte ohne Wahrscheinlichkeitsgewichte addieren.

Jeden Wert −log₂ p_i mit p_i multiplizieren; gesucht ist ein Erwartungswert.

ln p als Logarithmus zur Basis 2 verwenden.

log₂ p = ln p/ln 2. Mit ln allein erhältst du Nat statt Bit.

Für p = 0 den Ausdruck log₂ 0 direkt berechnen.

Der vollständige gewichtete Nullterm wird per Grenzwert als null definiert.

Klausurkontext

Wahrscheinlichkeitsquellen vergleichen und die Grenze log₂ n überprüfen.
Mittlere Informationsmenge von Codewortlänge und gemeinsamem Informationsgehalt abhängiger Folgen unterscheiden.

Formelcluster

Information und Wahrscheinlichkeit

Bedingte Wahrscheinlichkeit beschreibt einzelne Ereignisbeziehungen; Entropie mittelt Informationswerte einer gesamten Verteilung.

P(A|B) = P(A∩B)/P(B)

Bedingte Wahrscheinlichkeit

P(A|B) = P(B|A)·P(A) / P(B)

Satz von Bayes

P(X=k) = (n über k)·pᵏ·(1−p)ⁿ⁻ᵏ

Binomialverteilung

Rechenbeispiel

Für eine faire Münze gilt H = −½log₂½ − ½log₂½ = 1 Bit. Für eine Münze mit p(Kopf)=0,75 und p(Zahl)=0,25 ergibt sich H ≈ 0,811 Bit pro Wurf.

Anwendungsgebiete

Grenzen verlustfreier Kompression verstehen, Informationsquellen vergleichen, Entscheidungsbäume aufteilen und Unsicherheit quantifizieren.

Rechenbeispiel: Shannon-Entropie

Eine typische Aufgabe Schritt für Schritt: Shannon-Entropie (H(X) = −Σ pᵢ log₂(pᵢ)).

1
Aufgabe
Berechne H für die Wahrscheinlichkeiten (1/2, 1/4, 1/8, 1/8).
Rechenweg
1. Die Informationswerte sind 1, 2, 3, 3 Bit.
2. Gewichtet: H = 1/2 + 2/4 + 3/8 + 3/8 = 1,75 Bit.

Die Formel verstehen und anwenden

Die Shannon-Entropie beantwortet eine konkrete Frage: Wie viel Information liefert ein Ergebnis im Mittel, wenn seine Wahrscheinlichkeitsverteilung bekannt ist? Aus der Überraschung eines einzelnen Ereignisses wird ein gewichteter Mittelwert. Eigene Beispiele zeigen den Unterschied zwischen dieser Zahl und einer tatsächlichen Dateigröße.

Wie berechnet man die Entropie einer vollständigen diskreten Verteilung?

X sei eine diskrete Zufallsvariable mit endlich vielen möglichen Ergebnissen x₁ bis x_n. Zu jedem Ergebnis gehört p_i = P(X = x_i). Die Wahrscheinlichkeiten sind nichtnegativ und summieren sich zu eins. Die Entropie hängt von diesen Wahrscheinlichkeiten ab; eine bloße Umbenennung der Ergebnisse ändert sie nicht. Bei beobachteten nichtnegativen Häufigkeiten $n_i$ mit $N=\sum_i n_i>0$ setzt man $\hat p_i=\frac{n_i}{N}$ ein. Das Ergebnis beschreibt die empirische Verteilung der Stichprobe und ist nicht automatisch die exakte oder unverzerrt geschätzte Quellenentropie.[2][5]

H(X)=-\sum_{i=1}^n p_i\log_2 p_i

Die Formel bildet den Erwartungswert der Informationsmenge pro Ergebnis.

Eine vollständig vorhersagbare Ausgabe hat Entropie null. Das bedeutet nicht, dass ihre Bedeutung unwichtig ist. Entropie bewertet die statistische Unvorhersagbarkeit des gewählten Modells, nicht den Nutzen, die Wahrheit oder den semantischen Gehalt einer Nachricht.

Warum ergibt der Logarithmus zur Basis zwei Bits?

I(x_i)=-\log_2p_i=\log_2\frac1{p_i}

Ein seltenes Ergebnis erhält einen größeren Informationswert als ein häufiges; p_i > 0.[1]

Der Logarithmus passt zur Addition unabhängiger Informationen: Für unabhängige Ereignisse multiplizieren sich die Wahrscheinlichkeiten, während sich die negativen Logarithmen addieren. Die Wahl der Basis bestimmt die Einheit. Basis 2 ergibt Bit, der natürliche Logarithmus Nat.

-\log_2(pq)=-\log_2p-\log_2q

Additivität für unabhängige Ereignisse mit positiven Wahrscheinlichkeiten.

\mathbb E[I(X)]=\sum_i p_i I(x_i)=-\sum_i p_i\log_2p_i

Jeden Informationswert mit seiner Auftretenswahrscheinlichkeit gewichten und alle Beiträge addieren.

\lim_{p\to0^+}p\log_2p=0

Ein unmögliches Ergebnis trägt null zum Mittelwert bei. Man setzt den gesamten Term auf null, statt log₂(0) auszurechnen.

Warum Gleichverteilung die größte Entropie hat

Für n mögliche Ergebnisse gilt 0 ≤ H(X) ≤ log₂ n. Bei sicherem Ausgang liegt H = 0 vor. Die obere Grenze wird genau dann erreicht, wenn alle n Ergebnisse dieselbe Wahrscheinlichkeit 1/n haben.[3]

H=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2 n

Bei Gleichverteilung sind alle Summanden gleich; n Beiträge kürzen den Faktor 1/n.

Die untere Grenze folgt schon aus den Summanden: Für 0 < p ≤ 1 ist log₂ p ≤ 0 und somit −p log₂ p ≥ 0. Für die obere Grenze kann man die Konkavität des Logarithmus verwenden. Mit m positiven Wahrscheinlichkeiten liefert Jensen die folgende Rechnung.

\sum_{p_i>0}p_i\log_2\frac1{p_i}\le\log_2\left(\sum_{p_i>0}p_i\frac1{p_i}\right)=\log_2m\le\log_2n

Die Gewichte p_i summieren sich zu eins. Gleiche positive Wahrscheinlichkeiten erreichen die erste Gleichheit.

Eine faire Binärquelle hat die größte Entropie

QUANTA STUDYquanta-study.de

Für zwei Ausgänge mit Wahrscheinlichkeiten p und 1−p beträgt das Maximum 1 Bit. Die Kurve beschreibt den gewichteten Mittelwert beider Informationswerte. Ihre Randwerte sind Grenzwerte; log₂(0) wird nicht einzeln berechnet.[2][3]

Kostenlos mit Quanta-Konto. Dein Download bleibt nach der Registrierung bereit.

Drei Beispiele: Verteilung, Gewichtung und Zusatzwissen

Drei Ausgaben einer Quelle

Gegeben: Eine Quelle liefert A mit Wahrscheinlichkeit $\frac12$ sowie B und C mit jeweils $\frac14$ .
Gesucht: Entropie und ein passendes präfixfreies Binärcode-Beispiel.

Ansatz: Die gegebene Quelle hat drei diskrete Ausgänge. Mit Logarithmusbasis zwei ergibt sich der Informationsgehalt in Bit; seine Wahrscheinlichkeitsgewichtung liefert die mittlere Information und erlaubt den Vergleich mit einer präfixfreien Codierung.
$\begin{aligned}I_i&=-\log_2p_i\\{}H&=\sum_ip_iI_i\end{aligned}$
Wahrscheinlichkeiten prüfen: $\frac12+\frac14+\frac14=1$ .
Informationswerte sind 1 Bit für A und 2 Bit für B und C.
$\begin{aligned}I(A)&=-\log_2\frac12=1\\{} I(B)&=I(C)=-\log_2\frac14=2\end{aligned}$
Die gewichteten Beiträge addieren.
$H=\frac12\cdot1+\frac14\cdot2+\frac14\cdot2=1.5\,\mathrm{bit}$

Ergebnis: H = 1,5 Bit pro Ausgabe. Der Code A → 0, B → 10, C → 11 hat dieselbe mittlere Länge.

Kontrolle: Kein Codewort ist der Anfang eines anderen. Die mittlere Codelänge ist $\frac12\cdot1+\frac14\cdot2+\frac14\cdot2=1{,}5$ ; jede einzelne Ausgabe nutzt dennoch eine ganze Zahl von Bits.

Unausgeglichene Ja-Nein-Ausgabe

Gegeben: P(Ja) = 0,8, P(Nein) = 0,2.
Gesucht: Mittleren Informationsgehalt bestimmen und mit einer fairen Binärquelle vergleichen.

Ansatz: Die zwei komplementären Ausgangswahrscheinlichkeiten bilden eine Bernoulli-Quelle. Die binäre Entropie gewichtet beide Informationswerte; eine faire Quelle dient als unabhängiger Vergleich bei maximaler binärer Unsicherheit.
$H=-p\log_2p-(1-p)\log_2(1-p)$
Ja wird als 1 und Nein als 0 bezeichnet. Für beide Ausgänge den Logarithmus zur Basis zwei berechnen.
$\begin{aligned}I(1)&=-\log_2(0.8)\approx0.321928\\I(0)&=-\log_2(0.2)\approx2.321928\end{aligned}$
Nicht die beiden Werte ungewichtet mitteln, sondern mit 0,8 und 0,2 multiplizieren.
$H\approx0.8\cdot0.321928+0.2\cdot2.321928=0.721928\,\mathrm{bit}$

Ergebnis: H ≈ 0,722 Bit pro Ausgabe, weniger als das Maximum von 1 Bit.

Kontrolle: Das seltene Nein trägt im Einzelfall mehr Information, tritt aber seltener auf. Tauscht man Ja und Nein samt Wahrscheinlichkeiten, bleibt H gleich.

Wie viel Unsicherheit beseitigt ein Hinweis?

Gegeben: $X$ ist gleichverteilt auf vier Ausgänge. Der Hinweis $Y$ sagt zuverlässig, ob $X$ in $\{A,B\}$ oder in $\{C,D\}$ liegt.
Gesucht: Die ursprüngliche Entropie, die bedingte Entropie und die gegenseitige Information bestimmen.

Ansatz: Vor dem Hinweis sind vier Ausgänge möglich. Nach jeder der beiden Hinweismeldungen bleiben zwei gleich wahrscheinliche Ausgänge.
$H(X)=\log_2 4,\qquad H(X\mid Y)=\sum_yP(y)H(X\mid Y=y)$
Die verbleibende Unsicherheit für beide Hinweismeldungen gewichten.
$H(X)=2\,\mathrm{bit},\qquad H(X\mid Y)=\tfrac12\cdot1+\tfrac12\cdot1=1\,\mathrm{bit}$
Die durchschnittlich beseitigte Unsicherheit ist die gegenseitige Information.
$I(X;Y)=H(X)-H(X\mid Y)=1\,\mathrm{bit}$

Ergebnis: Der Hinweis liefert $1\,\mathrm{bit}$ Information und lässt $1\,\mathrm{bit}$ Unsicherheit über $X$ übrig.

Kontrolle: $Y$ ist selbst ein faires Bit und durch $X$ eindeutig bestimmt. Deshalb gilt hier auch $I(X;Y)=H(Y)=1\,\mathrm{bit}$ ; der Hinweis bestimmt $X$ trotzdem nicht vollständig.

Entropie ist keine pauschale Dateigröße

Für verlustfreie binäre Präfixcodes einer diskreten Quelle liegt die mittlere Codewortlänge mindestens bei der Entropie. Durch geeignete Blockcodierung unabhängiger, identisch verteilter Ausgaben kann der mittlere Aufwand pro Ausgabe an H angenähert werden. Endliche Blöcke, Kopfzeilen und die Beschreibung des Modells verursachen zusätzlichen Aufwand. Die Shannon-Hartley-Kanalkapazität behandelt dagegen die übertragbare Rate in einem eigenen bandbegrenzten Rauschkanalmodell; sie ist keine weitere Formel für die Entropie dieser Quelle.[1]

Angenommen, eine faire Binärquelle erzeugt unabhängig 400 Werte. Dann ist die gemeinsame Entropie 400 Bit. Wird dagegen ein einziger fairer Wert 400-mal wiederholt, ist jede Position für sich ebenfalls fair verteilt, aber die gesamte Folge enthält nur 1 Bit Zufallsinformation. Abhängigkeiten verändern somit die Rechnung grundlegend.

H(X_1,\ldots,X_k)=\sum_{j=1}^kH(X_j)

Nur für unabhängige Ausgaben addieren sich die Einzelentropien direkt.

Fünf Aufgaben mit Lösungen

Einsetzen und Rechnen · Einstieg

1. Acht Ausgaben sind gleich wahrscheinlich. Bestimme H.

Hinweis anzeigen

Die Gleichverteilungsformel verwenden.

Lernziel: Gleichverteilungsentropie berechnen.

Lösung und Rechenweg anzeigen

Ansatz: $H=\log_2n$ .
H = log₂ 8 = 3 Bit pro Ausgabe.

H=\log_2 8=3

Einsetzen und Rechnen · Anwenden

2. Die Wahrscheinlichkeiten sind $\left(\frac12,\frac14,\frac18,\frac18\right)$ . Berechne H.

Hinweis anzeigen

Informationswerte 1, 2, 3, 3 gewichtet addieren.

Lernziel: Gewichtete Entropie einer Verteilung bestimmen.

Lösung und Rechenweg anzeigen

Ansatz: $H=-\sum_i p_i\log_2p_i$ .
H = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 Bit.
Das ist kleiner als das Vierer-Maximum von 2 Bit.

H=\frac12+\frac24+\frac38+\frac38=1.75

Interpretieren · Anwenden

3. Eine Ausgabe hat Wahrscheinlichkeit 1, alle anderen 0. Welche Entropie ergibt sich?

Hinweis anzeigen

log₂ 1 = 0 und die Nullterm-Konvention beachten.

Lernziel: Einen sicheren Ausgang als Entropie null erkennen.

Lösung und Rechenweg anzeigen

Ansatz: $H=-\sum_{p_i>0}p_i\log_2p_i$ .
H = 0.
Die Ausgabe ist sicher; die Nullwahrscheinlichkeiten tragen nach dem Grenzwert nichts bei.

H=-1\log_2 1=0

Interpretieren · Anwenden

Eine faire Münze wird einmal geworfen. Die Quelle gibt den Ausgang zweimal hintereinander aus: HH oder TT, jeweils mit Wahrscheinlichkeit ein Halb. Bestimme die Entropie des Zweierblocks und die Entropie pro ausgegebenem Zeichen. Sind zwei unabhängige Würfe gleichwertig?

Hinweis anzeigen

Zähle mögliche Blöcke statt einzelne Zeichen zu verdoppeln.

Lernziel: Abhängigkeiten zwischen Symbolen bei Blockentropie beachten.

Lösung und Rechenweg anzeigen

Ansatz: Es gibt nur zwei gleich wahrscheinliche Blöcke, daher 1 Bit pro Block und 0,5 Bit pro gedrucktem Zeichen.
Zwei unabhängige Würfe hätten vier Blöcke und 2 Bit.
Die einzelnen Zeichen sind zwar jeweils fair verteilt, aber vollständig abhängig.
Die Summe einzelner Entropien wäre nur bei Unabhängigkeit die Blockentropie.

\begin{aligned}H(XX)&=-2\cdot\frac12\log_2\frac12=1\,\mathrm{bit}\\{}\frac{H(XX)}2&=0.5\,\mathrm{bit\ per\ symbol}\end{aligned}

[3]

Fehleranalyse · Anwenden

Eine binäre Quelle liefert A mit Wahrscheinlichkeit 0,9 und B mit 0,1. Jemand nennt den Informationsgehalt des seltenen B die durchschnittliche Entropie. Berechne beide Größen und erkläre den Fehler; Logarithmusbasis zwei.

Hinweis anzeigen

Entropie gewichtet auch das häufige Ereignis.

Lernziel: Informationsgehalt eines Ergebnisses vom Erwartungswert unterscheiden.

Lösung und Rechenweg anzeigen

Ansatz: Das seltene B liefert etwa 3,32193 Bit Information.
Der gewichtete Mittelwert beider Ereignisse beträgt dagegen etwa 0,468996 Bit pro Ausgabe.
Das häufige A liefert wenig Information und tritt neunmal so oft auf.
Die Entropie kann hier nicht über dem binären Maximum von 1 Bit liegen; dieser Vergleich deckt die behauptete Gleichsetzung sofort auf.

\begin{aligned}I_B&=-\log_2(0.1)\approx3.32193\,\mathrm{bit}\\{}H&=-0.9\log_2(0.9)-0.1\log_2(0.1)\\{}&\approx0.468996\,\mathrm{bit}\end{aligned}

[1]

Die häufigsten Rechenfehler vermeiden

Prozentangaben zuerst durch 100 teilen; 80 % entspricht p = 0,8.
Wahrscheinlichkeiten müssen dieselben sich ausschließenden Ausgaben vollständig beschreiben und zusammen 1 ergeben.
Der Taschenrechner braucht $\log_2 p=\frac{\ln p}{\ln2}$ . Mit ln allein erhält man Nat.
Jeden Logarithmus mit dem zugehörigen p gewichten und das Minuszeichen beachten.
Statistische Häufigkeiten aus einer Stichprobe sind Schätzungen, keine automatisch exakten Quellwahrscheinlichkeiten.

Lege die vollständige diskrete Verteilung fest und gewichte jeden Informationswert mit seiner Wahrscheinlichkeit. Basis zwei ergibt Bit. Entropie ist ein Mittelwert; Abhängigkeiten, Zusatzwissen und konkrete Codierung müssen gesondert berücksichtigt werden.

Belege zu dieser Erklärung

Quanta · Bearbeitet 2. Oktober 2026

Redaktion: Quanta Study Redaktion

Prüfumfang

Diese Erklärung, 3 Rechenbeispiele und 5 Aufgaben liegen auf Deutsch und Englisch vor. Aufbau, Quellenzuordnung und mathematische Darstellung werden automatisiert geprüft. Rechnungen, Modellvoraussetzungen und beide Sprachfassungen erhalten eine gesonderte KI-Gegenprüfung.

Für einen früheren veröffentlichten Stand dieser Seite ist eine interne menschliche Fachprüfung dokumentiert. Diese Bestätigung gilt nicht automatisch für die überarbeitete Erklärung und die neuen Aufgaben.

Eine unabhängige, namentliche menschliche Fachprüfung ist noch nicht dokumentiert. Unsere Aufgabenzahlen sind Rechenbeispiele und keine Messdaten der zitierten Quellen.

Redaktion, Quellen und Vorgehen

Änderungsverlauf

2. Oktober 2026Frageüberschriften und passende Absatzlinks präzisiert; empirische Häufigkeiten mit vollständiger Umrechnung und Primärquelle zur Schätzgrenze ergänzt. Bestehende Beispiele und Aufgaben erhalten.
1. Oktober 2026Zwei Aufgaben ergänzt; die fünf Aufgaben nach Aufgabentyp, Schwierigkeit und Lernziel gegliedert.
1. Oktober 2026Lernweg geprüft; drittes Beispiel, eigene quantitative Abbildung, symbolische Aufgabenansätze und kurze Zusammenfassung ergänzt.

Diese Nachschlageseite zitieren

Quanta. Shannon-Entropie. Stand 2. Oktober 2026. https://quanta-study.de/tafelwerk/shannon-entropie

Bei einer konkreten fachlichen Aussage zusätzlich die dort verknüpfte Fachquelle nennen.

Korrektur mit Beleg vorschlagen

Häufige Fragen: Shannon-Entropie

Was misst die Shannon-Entropie?+

Die Shannon-Entropie misst den mittleren Informationsgehalt einer diskreten Zufallsvariable unter ihrer angegebenen Wahrscheinlichkeitsverteilung. Für positive Wahrscheinlichkeiten hat ein einzelner Ausgang den Informationswert $-\log_2p_i$ . Die Entropie gewichtet jeden solchen Wert mit seiner Wahrscheinlichkeit und addiert die Beiträge. Basis zwei liefert Bit. Eine faire Münze hat deshalb 1 Bit pro Wurf, ein sicherer Ausgang 0 Bit. Gemeint ist statistische Unvorhersagbarkeit, weder Bedeutung noch Wahrheit oder Nutzen einer Nachricht. Die Entropie beschreibt das Modell einer Quelle; sie ist keine unmittelbare Angabe der Länge jedes einzelnen Textes oder einer konkreten Datei.

Wie berechne ich Entropie aus Wahrscheinlichkeiten?+

Prüfe zuerst, ob die Wahrscheinlichkeiten eine vollständige Menge sich ausschließender Ausgänge beschreiben, nichtnegativ sind und zusammen eins ergeben. Prozentangaben werden vor dem Einsetzen durch 100 geteilt. Berechne für jeden positiven Wert den Informationsgehalt mit Logarithmusbasis zwei, gewichte ihn mit derselben Wahrscheinlichkeit und addiere. Für $(\frac12,\frac14,\frac18,\frac18)$ ergibt sich $H=\frac12+\frac24+\frac38+\frac38=1{,}75$ Bit. Die obere Kontrolle ist $\log_2 4=2$ Bit. Als zweite Kontrolle muss das Ergebnis nichtnegativ sein. Nullwahrscheinlichkeiten tragen null bei; den Logarithmus von null berechnet man nicht einzeln. Runde erst das Endergebnis und verwechsle einen ungewichteten Mittelwert nicht mit Entropie.

Wann ist Entropie null oder maximal?+

Bei einer endlichen diskreten Verteilung ist die Entropie null, wenn genau ein Ausgang Wahrscheinlichkeit eins hat. Alle anderen Ausgänge sind dann ausgeschlossen. Für n mögliche Ausgänge liegt die Entropie höchstens bei $\log_2n$ Bit; dieses Maximum wird erreicht, wenn alle n Wahrscheinlichkeiten gleich sind. Vier gleich wahrscheinliche Ausgänge liefern beispielsweise 2 Bit. Bei einer Binärquelle beträgt das Maximum 1 Bit für gleiche Wahrscheinlichkeiten. Ein seltenes Ereignis kann allein mehr als 1 Bit Information liefern; der gewichtete binäre Mittelwert bleibt trotzdem höchstens 1 Bit. Die Grenzen gelten nicht unverändert für differentielle Entropie stetiger Größen.

Warum hängen Bit und Nat von der Logarithmusbasis ab?+

Die Logarithmusbasis legt die Einheit des Informationsmaßes fest. Mit Basis zwei erhältst du Bit; mit dem natürlichen Logarithmus erhältst du Nat. Die Wahrscheinlichkeiten bleiben dimensionslos und ändern sich durch die Basiswahl nicht. Auf einem Rechner ohne log₂-Funktion verwendest du $\log_2p=\frac{\ln p}{\ln2}$ . Deshalb ist die Entropie in Bit die Entropie in Nat geteilt durch ln 2. Eine faire Münze hat 1 Bit beziehungsweise etwa 0,693 Nat. Beim Vergleich von Quellen müssen Basis und Verteilung gleich definiert sein. Nullterme behandelt man in beiden Einheiten über den Grenzwert des vollständigen gewichteten Terms.

Was ändern Abhängigkeiten und Zusatzwissen?+

Entropien einzelner Ausgaben addieren sich nur bei statistischer Unabhängigkeit direkt zur gemeinsamen Entropie. Ein fairer Münzwurf, der zweimal ausgegeben wird, liefert zwei Zeichen, aber nur 1 Bit gemeinsame Unsicherheit. Zwei unabhängige faire Würfe liefern dagegen 2 Bit. Zusatzwissen wird mit bedingter Entropie beschrieben: $H(X\mid Y)$ mittelt die verbleibende Unsicherheit über alle möglichen Beobachtungen von Y. Bestimmt Y den Ausgang X eindeutig, bleibt keine Unsicherheit. Ist Y unabhängig, bleibt die ursprüngliche Entropie erhalten. Die Differenz ist gegenseitige Information. Sie misst statistische Abhängigkeit beziehungsweise durchschnittlichen Informationsgewinn, aber keine kausale Richtung.

Quanta-Prüfungsset

Kuratiertes Prüfungsset für "Shannon-Entropie":

Frage (Vorderseite)

Welche Formel beschreibt Shannon-Entropie?

Antwort in deinem Set

Frage (Vorderseite)

Welcher typische Fehler passiert bei H(X) = −Σ pᵢ log₂(pᵢ)?

Antwort in deinem Set

+ 8 weitere Karten: Einheiten, Variablen, Herleitung, Beispiel, Klausuraufgabe

Das Formelset enthält 10 Karten. Nach der Übernahme kannst du sie prüfen und lernen; deine Bewertungen bestimmen die weiteren Wiederholungen.

Karteikarten oder Test erstellen Ich habe schon ein Konto

Fachquellen und weiterführende Literatur

Die Liste nennt Fachquellen und weiterführende Literatur. Eine Seiten- oder Abschnittsnummer steht dabei, wenn sie Teil der Literaturangabe ist; es handelt sich nicht um wörtliche Zitate.

[1]MIT OpenCourseWare, 6.02 Introduction to EECS II: Digital Communication Systems, Chapter 2 “Information, Entropy, and the Motivation for Source Codes”.

Weitere Formeln: Informationstheorie und Codierung

d_H(x,y)=\sum_{i=1}^{n}\mathbf{1}[x_i\ne y_i]

Hamming-Distanz von Bitfolgen

C=B\log_2(1+S/N)

Shannon-Hartley-Kanalkapazität

I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)

Gegenseitige Information diskreter Variablen

R(x)=(x^rM(x))\bmod G(x),\quad C(x)=x^rM(x)+R(x)

CRC-Prüfsumme als Polynomrest über GF(2)

Spaced Repetition

Formeln nachhaltig lernen

Aktiver Abruf

Abrufen statt wiederlesen

FSRS vs. SM-2

Optimaler Algorithmus

Formel-Prüfungsset erstellen

Ab Essential in Quanta

Shannon-Entropie prüfungssicher behalten

Erstelle ein kuratiertes FSRS-Prüfungsset für H(X) = −Σ pᵢ log₂(pᵢ): Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.

Karteikarten oder Test erstellen Schon registriert? Direkt weiter

Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential

Quanta Study Redaktion

Shannon-Entropie

Die Shannon-Entropie ist die erwartete Informationsmenge eines diskreten Zufallsversuchs und misst die Unsicherheit seiner Wahrscheinlichkeitsverteilung in Bit.

FortgeschrittenBachelor-GrundlagenFachvertiefung

Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential

Symbol

Bedeutung

Einheit

H(X)

Entropie der Zufallsvariable X

Bit

pᵢ

Wahrscheinlichkeit des Ergebnisses i

dimensionslos

n

Anzahl möglicher Ergebnisse

Anzahl

Herleitung & Hintergrund

Prüfungs-Blueprint

Gültigkeitsbereich

Herleitung in Schritten

Die Entropie ist der Erwartungswert des logarithmischen Informationsgehalts.

1Diskrete Ergebnisse und Wahrscheinlichkeiten $p_i\ge0$ mit $\sum_i p_i=1$ festlegen.
2Für $p_i>0$ den Informationsgehalt $I_i=-\log_2p_i$ bestimmen. Basis 2 ergibt Bit.
3Jeden Informationswert mit seiner Wahrscheinlichkeit gewichten: $p_iI_i$ .
4Alle Beiträge addieren: $H(X)=\sum_i p_iI_i=-\sum_i p_i\log_2p_i$ .
5Für $p_i=0$ den gesamten Beitrag per Grenzwert auf null setzen; $\log_2(0)$ nicht einzeln auswerten.
6Mit $0\le H\le\log_2n$ kontrollieren; das Maximum gilt bei n gleich wahrscheinlichen Ergebnissen.

Die Formel verstehen und anwenden

Wie berechnet man die Entropie einer vollständigen diskreten Verteilung?

H(X)=-\sum_{i=1}^n p_i\log_2 p_i

Die Formel bildet den Erwartungswert der Informationsmenge pro Ergebnis.

Warum ergibt der Logarithmus zur Basis zwei Bits?

I(x_i)=-\log_2p_i=\log_2\frac1{p_i}

Ein seltenes Ergebnis erhält einen größeren Informationswert als ein häufiges; p_i > 0.[1]

-\log_2(pq)=-\log_2p-\log_2q

Additivität für unabhängige Ereignisse mit positiven Wahrscheinlichkeiten.

\mathbb E[I(X)]=\sum_i p_i I(x_i)=-\sum_i p_i\log_2p_i

Jeden Informationswert mit seiner Auftretenswahrscheinlichkeit gewichten und alle Beiträge addieren.

\lim_{p\to0^+}p\log_2p=0

Ein unmögliches Ergebnis trägt null zum Mittelwert bei. Man setzt den gesamten Term auf null, statt log₂(0) auszurechnen.

Warum Gleichverteilung die größte Entropie hat

H=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2 n

Bei Gleichverteilung sind alle Summanden gleich; n Beiträge kürzen den Faktor 1/n.

\sum_{p_i>0}p_i\log_2\frac1{p_i}\le\log_2\left(\sum_{p_i>0}p_i\frac1{p_i}\right)=\log_2m\le\log_2n

Die Gewichte p_i summieren sich zu eins. Gleiche positive Wahrscheinlichkeiten erreichen die erste Gleichheit.

Eine faire Binärquelle hat die größte Entropie

QUANTA STUDYquanta-study.de

Kostenlos mit Quanta-Konto. Dein Download bleibt nach der Registrierung bereit.

Drei Beispiele: Verteilung, Gewichtung und Zusatzwissen

Drei Ausgaben einer Quelle

Gegeben: Eine Quelle liefert A mit Wahrscheinlichkeit $\frac12$ sowie B und C mit jeweils $\frac14$ .
Gesucht: Entropie und ein passendes präfixfreies Binärcode-Beispiel.

Ansatz: Die gegebene Quelle hat drei diskrete Ausgänge. Mit Logarithmusbasis zwei ergibt sich der Informationsgehalt in Bit; seine Wahrscheinlichkeitsgewichtung liefert die mittlere Information und erlaubt den Vergleich mit einer präfixfreien Codierung.
$\begin{aligned}I_i&=-\log_2p_i\\{}H&=\sum_ip_iI_i\end{aligned}$
Wahrscheinlichkeiten prüfen: $\frac12+\frac14+\frac14=1$ .
Informationswerte sind 1 Bit für A und 2 Bit für B und C.
$\begin{aligned}I(A)&=-\log_2\frac12=1\\{} I(B)&=I(C)=-\log_2\frac14=2\end{aligned}$
Die gewichteten Beiträge addieren.
$H=\frac12\cdot1+\frac14\cdot2+\frac14\cdot2=1.5\,\mathrm{bit}$

Ergebnis: H = 1,5 Bit pro Ausgabe. Der Code A → 0, B → 10, C → 11 hat dieselbe mittlere Länge.

Unausgeglichene Ja-Nein-Ausgabe

Gegeben: P(Ja) = 0,8, P(Nein) = 0,2.
Gesucht: Mittleren Informationsgehalt bestimmen und mit einer fairen Binärquelle vergleichen.

Ansatz: Die zwei komplementären Ausgangswahrscheinlichkeiten bilden eine Bernoulli-Quelle. Die binäre Entropie gewichtet beide Informationswerte; eine faire Quelle dient als unabhängiger Vergleich bei maximaler binärer Unsicherheit.
$H=-p\log_2p-(1-p)\log_2(1-p)$
Ja wird als 1 und Nein als 0 bezeichnet. Für beide Ausgänge den Logarithmus zur Basis zwei berechnen.
$\begin{aligned}I(1)&=-\log_2(0.8)\approx0.321928\\I(0)&=-\log_2(0.2)\approx2.321928\end{aligned}$
Nicht die beiden Werte ungewichtet mitteln, sondern mit 0,8 und 0,2 multiplizieren.
$H\approx0.8\cdot0.321928+0.2\cdot2.321928=0.721928\,\mathrm{bit}$

Ergebnis: H ≈ 0,722 Bit pro Ausgabe, weniger als das Maximum von 1 Bit.

Kontrolle: Das seltene Nein trägt im Einzelfall mehr Information, tritt aber seltener auf. Tauscht man Ja und Nein samt Wahrscheinlichkeiten, bleibt H gleich.

Wie viel Unsicherheit beseitigt ein Hinweis?

Gegeben: $X$ ist gleichverteilt auf vier Ausgänge. Der Hinweis $Y$ sagt zuverlässig, ob $X$ in $\{A,B\}$ oder in $\{C,D\}$ liegt.
Gesucht: Die ursprüngliche Entropie, die bedingte Entropie und die gegenseitige Information bestimmen.

Ansatz: Vor dem Hinweis sind vier Ausgänge möglich. Nach jeder der beiden Hinweismeldungen bleiben zwei gleich wahrscheinliche Ausgänge.
$H(X)=\log_2 4,\qquad H(X\mid Y)=\sum_yP(y)H(X\mid Y=y)$
Die verbleibende Unsicherheit für beide Hinweismeldungen gewichten.
$H(X)=2\,\mathrm{bit},\qquad H(X\mid Y)=\tfrac12\cdot1+\tfrac12\cdot1=1\,\mathrm{bit}$
Die durchschnittlich beseitigte Unsicherheit ist die gegenseitige Information.
$I(X;Y)=H(X)-H(X\mid Y)=1\,\mathrm{bit}$

Ergebnis: Der Hinweis liefert $1\,\mathrm{bit}$ Information und lässt $1\,\mathrm{bit}$ Unsicherheit über $X$ übrig.

Kontrolle: $Y$ ist selbst ein faires Bit und durch $X$ eindeutig bestimmt. Deshalb gilt hier auch $I(X;Y)=H(Y)=1\,\mathrm{bit}$ ; der Hinweis bestimmt $X$ trotzdem nicht vollständig.

Entropie ist keine pauschale Dateigröße

H(X_1,\ldots,X_k)=\sum_{j=1}^kH(X_j)

Nur für unabhängige Ausgaben addieren sich die Einzelentropien direkt.

Fünf Aufgaben mit Lösungen

Einsetzen und Rechnen · Einstieg

1. Acht Ausgaben sind gleich wahrscheinlich. Bestimme H.

Hinweis anzeigen

Die Gleichverteilungsformel verwenden.

Lernziel: Gleichverteilungsentropie berechnen.

Lösung und Rechenweg anzeigen

Ansatz: $H=\log_2n$ .
H = log₂ 8 = 3 Bit pro Ausgabe.

H=\log_2 8=3

Einsetzen und Rechnen · Anwenden

2. Die Wahrscheinlichkeiten sind $\left(\frac12,\frac14,\frac18,\frac18\right)$ . Berechne H.

Hinweis anzeigen

Informationswerte 1, 2, 3, 3 gewichtet addieren.

Lernziel: Gewichtete Entropie einer Verteilung bestimmen.

Lösung und Rechenweg anzeigen

Ansatz: $H=-\sum_i p_i\log_2p_i$ .
H = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 Bit.
Das ist kleiner als das Vierer-Maximum von 2 Bit.

H=\frac12+\frac24+\frac38+\frac38=1.75

Interpretieren · Anwenden

3. Eine Ausgabe hat Wahrscheinlichkeit 1, alle anderen 0. Welche Entropie ergibt sich?

Hinweis anzeigen

log₂ 1 = 0 und die Nullterm-Konvention beachten.

Lernziel: Einen sicheren Ausgang als Entropie null erkennen.

Lösung und Rechenweg anzeigen

Ansatz: $H=-\sum_{p_i>0}p_i\log_2p_i$ .
H = 0.
Die Ausgabe ist sicher; die Nullwahrscheinlichkeiten tragen nach dem Grenzwert nichts bei.

H=-1\log_2 1=0

Interpretieren · Anwenden

Eine faire Münze wird einmal geworfen. Die Quelle gibt den Ausgang zweimal hintereinander aus: HH oder TT, jeweils mit Wahrscheinlichkeit ein Halb. Bestimme die Entropie des Zweierblocks und die Entropie pro ausgegebenem Zeichen. Sind zwei unabhängige Würfe gleichwertig?

Hinweis anzeigen

Zähle mögliche Blöcke statt einzelne Zeichen zu verdoppeln.

Lernziel: Abhängigkeiten zwischen Symbolen bei Blockentropie beachten.

Lösung und Rechenweg anzeigen

Ansatz: Es gibt nur zwei gleich wahrscheinliche Blöcke, daher 1 Bit pro Block und 0,5 Bit pro gedrucktem Zeichen.
Zwei unabhängige Würfe hätten vier Blöcke und 2 Bit.
Die einzelnen Zeichen sind zwar jeweils fair verteilt, aber vollständig abhängig.
Die Summe einzelner Entropien wäre nur bei Unabhängigkeit die Blockentropie.

\begin{aligned}H(XX)&=-2\cdot\frac12\log_2\frac12=1\,\mathrm{bit}\\{}\frac{H(XX)}2&=0.5\,\mathrm{bit\ per\ symbol}\end{aligned}

[3]

Fehleranalyse · Anwenden

Eine binäre Quelle liefert A mit Wahrscheinlichkeit 0,9 und B mit 0,1. Jemand nennt den Informationsgehalt des seltenen B die durchschnittliche Entropie. Berechne beide Größen und erkläre den Fehler; Logarithmusbasis zwei.

Hinweis anzeigen

Entropie gewichtet auch das häufige Ereignis.

Lernziel: Informationsgehalt eines Ergebnisses vom Erwartungswert unterscheiden.

Lösung und Rechenweg anzeigen

Ansatz: Das seltene B liefert etwa 3,32193 Bit Information.
Der gewichtete Mittelwert beider Ereignisse beträgt dagegen etwa 0,468996 Bit pro Ausgabe.
Das häufige A liefert wenig Information und tritt neunmal so oft auf.
Die Entropie kann hier nicht über dem binären Maximum von 1 Bit liegen; dieser Vergleich deckt die behauptete Gleichsetzung sofort auf.

\begin{aligned}I_B&=-\log_2(0.1)\approx3.32193\,\mathrm{bit}\\{}H&=-0.9\log_2(0.9)-0.1\log_2(0.1)\\{}&\approx0.468996\,\mathrm{bit}\end{aligned}

[1]

Die häufigsten Rechenfehler vermeiden

Prozentangaben zuerst durch 100 teilen; 80 % entspricht p = 0,8.
Wahrscheinlichkeiten müssen dieselben sich ausschließenden Ausgaben vollständig beschreiben und zusammen 1 ergeben.
Der Taschenrechner braucht $\log_2 p=\frac{\ln p}{\ln2}$ . Mit ln allein erhält man Nat.
Jeden Logarithmus mit dem zugehörigen p gewichten und das Minuszeichen beachten.
Statistische Häufigkeiten aus einer Stichprobe sind Schätzungen, keine automatisch exakten Quellwahrscheinlichkeiten.

Belege zu dieser Erklärung

Quanta · Bearbeitet 2. Oktober 2026

Redaktion: Quanta Study Redaktion

Prüfumfang

Eine unabhängige, namentliche menschliche Fachprüfung ist noch nicht dokumentiert. Unsere Aufgabenzahlen sind Rechenbeispiele und keine Messdaten der zitierten Quellen.

Redaktion, Quellen und Vorgehen

Änderungsverlauf

2. Oktober 2026Frageüberschriften und passende Absatzlinks präzisiert; empirische Häufigkeiten mit vollständiger Umrechnung und Primärquelle zur Schätzgrenze ergänzt. Bestehende Beispiele und Aufgaben erhalten.
1. Oktober 2026Zwei Aufgaben ergänzt; die fünf Aufgaben nach Aufgabentyp, Schwierigkeit und Lernziel gegliedert.
1. Oktober 2026Lernweg geprüft; drittes Beispiel, eigene quantitative Abbildung, symbolische Aufgabenansätze und kurze Zusammenfassung ergänzt.

Diese Nachschlageseite zitieren

Quanta. Shannon-Entropie. Stand 2. Oktober 2026. https://quanta-study.de/tafelwerk/shannon-entropie

Bei einer konkreten fachlichen Aussage zusätzlich die dort verknüpfte Fachquelle nennen.

Korrektur mit Beleg vorschlagen

Häufige Fragen: Shannon-Entropie

Was misst die Shannon-Entropie?+

Wie berechne ich Entropie aus Wahrscheinlichkeiten?+

Wann ist Entropie null oder maximal?+

Warum hängen Bit und Nat von der Logarithmusbasis ab?+

Was ändern Abhängigkeiten und Zusatzwissen?+

Shannon-Entropie prüfungssicher behalten

Erstelle ein kuratiertes FSRS-Prüfungsset für H(X) = −Σ pᵢ log₂(pᵢ): Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.

Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential

Shannon-Entropie

Variablen & Einheiten

Shannon-Entropie berechnen

So rechnest du schneller

Herleitung & Hintergrund

Prüfungs-Blueprint

Gültigkeitsbereich

Herleitung in Schritten

Umstellen

Aufgabenvariante

Typische Fehler

Klausurkontext

Information und Wahrscheinlichkeit

Rechenbeispiel

Anwendungsgebiete

Rechenbeispiel: Shannon-Entropie

Wie berechnet man die Entropie einer vollständigen diskreten Verteilung?

Warum ergibt der Logarithmus zur Basis zwei Bits?

Warum Gleichverteilung die größte Entropie hat

Eine faire Binärquelle hat die größte Entropie

Drei Beispiele: Verteilung, Gewichtung und Zusatzwissen

Drei Ausgaben einer Quelle

Unausgeglichene Ja-Nein-Ausgabe

Wie viel Unsicherheit beseitigt ein Hinweis?

Entropie ist keine pauschale Dateigröße

Bedingte Entropie und stetige Größen unterscheiden

Fünf Aufgaben mit Lösungen

1. Acht Ausgaben sind gleich wahrscheinlich. Bestimme H.

2. Die Wahrscheinlichkeiten sind (12,14,18,18)\left(\frac12,\frac14,\frac18,\frac18\right)(21​,41​,81​,81​). Berechne H.

3. Eine Ausgabe hat Wahrscheinlichkeit 1, alle anderen 0. Welche Entropie ergibt sich?

Eine faire Münze wird einmal geworfen. Die Quelle gibt den Ausgang zweimal hintereinander aus: HH oder TT, jeweils mit Wahrscheinlichkeit ein Halb. Bestimme die Entropie des Zweierblocks und die Entropie pro ausgegebenem Zeichen. Sind zwei unabhängige Würfe gleichwertig?

Eine binäre Quelle liefert A mit Wahrscheinlichkeit 0,9 und B mit 0,1. Jemand nennt den Informationsgehalt des seltenen B die durchschnittliche Entropie. Berechne beide Größen und erkläre den Fehler; Logarithmusbasis zwei.

Die häufigsten Rechenfehler vermeiden

Belege zu dieser Erklärung

Häufige Fragen: Shannon-Entropie

Fachquellen und weiterführende Literatur

Verwandte Formeln

Weitere Formeln: Informationstheorie und Codierung

Shannon-Entropie prüfungssicher behalten

Shannon-Entropie

Variablen & Einheiten

Shannon-Entropie berechnen

So rechnest du schneller

Herleitung & Hintergrund

Prüfungs-Blueprint

Gültigkeitsbereich

Herleitung in Schritten

Umstellen

Aufgabenvariante

Typische Fehler

Klausurkontext

Information und Wahrscheinlichkeit

Rechenbeispiel

Anwendungsgebiete

Rechenbeispiel: Shannon-Entropie

Wie berechnet man die Entropie einer vollständigen diskreten Verteilung?

Warum ergibt der Logarithmus zur Basis zwei Bits?

Warum Gleichverteilung die größte Entropie hat

Eine faire Binärquelle hat die größte Entropie

Drei Beispiele: Verteilung, Gewichtung und Zusatzwissen

Drei Ausgaben einer Quelle

Unausgeglichene Ja-Nein-Ausgabe

Wie viel Unsicherheit beseitigt ein Hinweis?

Entropie ist keine pauschale Dateigröße

Bedingte Entropie und stetige Größen unterscheiden

Fünf Aufgaben mit Lösungen

1. Acht Ausgaben sind gleich wahrscheinlich. Bestimme H.

2. Die Wahrscheinlichkeiten sind (12,14,18,18)\left(\frac12,\frac14,\frac18,\frac18\right)(21​,41​,81​,81​). Berechne H.

3. Eine Ausgabe hat Wahrscheinlichkeit 1, alle anderen 0. Welche Entropie ergibt sich?

Eine faire Münze wird einmal geworfen. Die Quelle gibt den Ausgang zweimal hintereinander aus: HH oder TT, jeweils mit Wahrscheinlichkeit ein Halb. Bestimme die Entropie des Zweierblocks und die Entropie pro ausgegebenem Zeichen. Sind zwei unabhängige Würfe gleichwertig?

Eine binäre Quelle liefert A mit Wahrscheinlichkeit 0,9 und B mit 0,1. Jemand nennt den Informationsgehalt des seltenen B die durchschnittliche Entropie. Berechne beide Größen und erkläre den Fehler; Logarithmusbasis zwei.

Die häufigsten Rechenfehler vermeiden

Belege zu dieser Erklärung

Häufige Fragen: Shannon-Entropie

Fachquellen und weiterführende Literatur

Verwandte Formeln

Weitere Formeln: Informationstheorie und Codierung

Shannon-Entropie prüfungssicher behalten

2. Die Wahrscheinlichkeiten sind $\left(\frac12,\frac14,\frac18,\frac18\right)$ . Berechne H.

2. Die Wahrscheinlichkeiten sind $\left(\frac12,\frac14,\frac18,\frac18\right)$ . Berechne H.