Wenn dir eine KI eine Karteikarte schreibt, hast du zwei Möglichkeiten: glauben oder nachschlagen. Beides ist schlecht, wenn du 300 Karten vor einer Klausur hast. Deshalb haben wir das Nachschlagen automatisiert und danach gezählt, wie oft es klappt. Ergebnis: Von 2.042 erzeugten Karten haben 1.997 den Abgleich mit ihrer Quelle bestanden, 97,8%. Die anderen 45 hat das System verworfen, bevor sie jemand zu sehen bekam. Die vollständigen Rohdaten liegen offen in der Studie KI ohne Halluzination; dieser Artikel erklärt, was da eigentlich gemessen wurde.
Was der Zitat-Test misst, und was nicht
Gemessen wird Quellentreue, nicht Faktenrichtigkeit. Die Frage lautet nicht „ist der Satz wahr“, sondern „steht dieser Satz so in der Quelle, aus der die Karte gebaut wurde“. Das klingt nach weniger, ist aber genau das, was du beim Lernen brauchst: Du musst nicht uns glauben, du kannst die Fundstelle öffnen.
Der Ablauf ist stur. Zuerst holt das System echten Volltext aus einer Quelle, erst dann darf das Modell daraus Karten formulieren. Jede Karte bekommt ein Beleg-Zitat mit. Dieses Zitat sucht anschließend ein deterministischer Algorithmus im Quelltext wieder, ohne ein zweites Sprachmodell zu fragen. Er kennt drei Stufen:
- Exakt: Zeichen für Zeichen gefunden, Score 1,0.
- Normalisiert: gefunden, nachdem Groß- und Kleinschreibung, Satzzeichen und Formelschreibweise vereinheitlicht wurden, Score 0,9 bis 0,95.
- Token-Treffer: mindestens 85 Prozent der Wörter stehen zusammenhängend im selben Quelltext-Fenster.
Unter 0,85 fliegt die Karte raus. Zitate unter 16 Zeichen zählen gar nicht erst, sonst wäre „Energie“ ein gültiger Beleg. Das kürzeste ausgelieferte Zitat im Datensatz hat 17 Zeichen.
Der Aufbau: 50 Themen, zwei Läufe, rund 2.000 Karten
Getestet wurden 50 typische Prüfungsthemen, je zur Hälfte Oberstufe und Bachelor-Studium, jedes in zwei Läufen. Das ergibt 100 Generierungen mit dem Ziel von je 20 Karten, in der Summe 2.042 erzeugte Karten. Das Modell lief mit Temperatur 0, also ohne kreativen Spielraum. Die Quellen waren Serlo, Wikibooks, Wikipedia und Wikiversity, alle unter CC-BY-SA, Stand des Quellen-Abzugs Juni 2026.
Zwei Dinge, die man ehrlich dazusagen muss. Erstens waren das kuratierte, normale Lehrplan-Themen, keine Fangfragen und keine Nischenthemen. Zweitens ist die Stichprobe deutschsprachig. Auf ein exotisches Seminarthema in einer Sprache ohne gute offene Quellen lässt sich die Zahl nicht übertragen.
Das Ergebnis, aufgeteilt nach Niveau
Über alles: 1.997 von 2.042 Karten bestanden, das sind 97,8%. Getrennt nach Niveau wird es interessanter. Abitur-Themen kamen auf 98,9 Prozent (1.000 von 1.011), Studiums-Themen auf 96,7 Prozent (997 von 1.031). Der Abstand ist kein Zufall: Je spezieller das Thema, desto dünner die offene Quellenlage, und desto häufiger formuliert das Modell aus mehreren Absätzen etwas zusammen, das so wörtlich nirgends steht.
Wo es hakt: Mathematik und Informatik
Die Fachverteilung zeigt dasselbe Muster noch deutlicher.
| Fach | erzeugt | ausgeliefert | Quote |
|---|---|---|---|
| Wirtschaft | 160 | 160 | 100 % |
| Medizin | 120 | 120 | 100 % |
| Chemie | 239 | 238 | 99,6 % |
| Physik | 284 | 280 | 98,6 % |
| Biologie | 284 | 280 | 98,6 % |
| Mathematik | 336 | 319 | 94,9 % |
| Informatik | 255 | 240 | 94,1 % |
Wirtschaft und Medizin liefen sauber durch, Mathematik und Informatik verloren am meisten. Der Grund ist nicht, dass die KI in Mathe schlechter wäre. Der Grund ist Formelsatz: In Quelltexten stehen Formeln als LaTeX, mit Dollarzeichen, Backslashes und Leerzeichen an Stellen, an denen im Fließtext keine wären. Ein Zitat, das inhaltlich stimmt, kann an der Zeichenkette scheitern. Der Prüfer ist an dieser Stelle also eher zu streng als zu lax, und das ist die Richtung, in die man einen solchen Filter bauen sollte.
Eine verworfene Karte im Original
Damit das nicht abstrakt bleibt, hier eine der 45 Karten, die es nicht auf den Bildschirm geschafft haben. Mathematik, Studium:
Vorderseite: Was ist die Form einer linearen Funktion?
Rückseite: Eine lineare Funktion hat die Form f(x)=m·x+b. Ihr Graph ist eine Gerade; m ist die Steigung, b der y-Achsenabschnitt.
Die Karte ist fachlich völlig richtig. Trotzdem hat sie den Abgleich mit 0,73 verfehlt, weil das mehrsätzige Zitat in der Quelle Leerzeichen vor den Punkten trägt und Formelteile in LaTeX gesetzt sind. Das System hat sie verworfen. Aus deiner Sicht heißt das: Du bekommst gelegentlich eine gute Karte nicht, aber du bekommst keine unbelegte. Für Lernmaterial ist das der richtige Tausch.
Warum 100 Prozent und 97,8 Prozent kein Widerspruch sind
Beide Zahlen tauchen bei uns auf, und sie messen Verschiedenes. 97,8% ist der Anteil der erzeugten Karten, deren Beleg die Prüfung besteht. 100% ist der Anteil der ausgelieferten Karten mit Beleg, und der ist trivialerweise vollständig, weil unbelegte Karten den Weg zu dir gar nicht antreten. Die 45 Verworfenen stehen in keiner Sammlung, in keinem Deck und in keinem Test. Wer nur die 100 Prozent nennt, verschweigt den Filter; wer nur die 97,8 nennt, tut so, als hättest du die Ausschussware bekommen. Deshalb stehen bei uns immer beide da.
Was der Test nicht beweist
Er beweist nicht, dass jede Karte inhaltlich korrekt ist. Vorder- und Rückseite formuliert das Modell selbst; nur der Beleg stammt wörtlich aus der Quelle. Eine Karte kann eine Quelle korrekt zitieren und sie trotzdem schief zusammenfassen. Er beweist auch nicht, dass die Quellen fachdidaktisch gut sind: Sie sind nach Herkunft und Lizenz ausgewählt, nicht von einem Fachdidaktiker abgenommen. Und er sagt nichts über deinen Lernerfolg, dazu misst er die falsche Sache.
Offen ist außerdem eine von Menschen gelabelte Teilstichprobe, mit der sich die Trefferquote des Abgleichs selbst prüfen ließe. Solange die fehlt, ist die 97,8 eine Aussage über den Filter, nicht über die Wahrheit.
Was das für dein Lernen heißt
Drei praktische Punkte. Erstens: Lade lieber dein eigenes Skript hoch, als ein Thema frei zu tippen. Dann läuft der Abgleich gegen genau das Dokument, aus dem deine Klausur kommt, und der Beleg zeigt dir die Seite. Zweitens: Wenn du in Mathematik oder Informatik lernst, rechne damit, dass ein paar Karten fehlen, wo die Quelle stark mit Formeln arbeitet. Ergänze sie von Hand, das sind Minuten, keine Stunden. Drittens: Schau bei einer Karte, die dir komisch vorkommt, wirklich auf den Beleg. Genau dafür ist er da.
Und wenn du die Zahlen selbst nachrechnen willst: Der Roh-Datensatz mit jedem Zitat, jedem Score und jeder verworfenen Karte steht offen zum Herunterladen. Wie das System Halluzination strukturell verhindert, statt sie hinterher wegzufiltern, steht in der Architektur; was das Siegel an der einzelnen Karteikarte bedeutet, unter Quanta Verified.
Zwei Anschlussfragen beantwortet das Magazin an anderer Stelle. Woran sich die Qualität einer KI-Karteikarte über den Quellenstatus hinaus erkennen lässt, steht in KI-Karteikarten die wirklich funktionieren. Wie der Scheduler die geprüften Karteikarten danach terminiert, steht im Artikel Wie Quanta FSRS-6 implementiert hat und warum wir in awesome-fsrs gelistet sind.