Unsere Schlussfolgerung: Ein Quellenbeleg hilft dir, eine KI-Karteikarte zu prüfen, ersetzt aber keinen Faktencheck. Im veröffentlichten Source-First-Test vom 28. Juni 2026 bestanden 1.997 von 2.042 erzeugten Karteikarten den Quellenabgleich, 97,8%. 45 wurden verworfen. DieKI ohne Halluzination genannte eigene Studie stellt die Rohdaten bereit. Diese historische Messung lief im historischen Google-Gemini-Test vom Juni 2026 und wurde mit dem heutigen Mistral-Modell nicht wiederholt.
Was der Zitat-Test misst, und was nicht
Gemessen wird Quellentreue, nicht Faktenrichtigkeit. Die Frage lautet nicht „ist der Satz wahr“, sondern „steht dieser Satz so in der Quelle, aus der die Karteikarte gebaut wurde“. Der Abgleich macht die Herkunft eines Beleg-Zitats nachvollziehbar. Ob die Antwort das Zitat richtig wiedergibt und die Quelle fachlich stimmt, musst du gesondert prüfen.
Im damaligen Test holte das System echten Volltext aus einer Quelle, erst danach formulierte das Modell daraus Karteikarten. Jede Karteikarte bekam ein Beleg-Zitat mit. Dieses Zitat suchte anschließend ein deterministischer Algorithmus im Quelltext wieder, ohne ein zweites Sprachmodell zu fragen. Der Test verwendete drei Stufen:
- Exakt: Zeichen für Zeichen gefunden, Score 1,0.
- Normalisiert: gefunden, nachdem Groß- und Kleinschreibung, Satzzeichen und Formelschreibweise vereinheitlicht wurden, Score 0,9 bis 0,95.
- Token-Treffer: mindestens 85 Prozent der Wörter stehen zusammenhängend im selben Quelltext-Fenster.
Im Test wurden Kandidaten unter 0,85 verworfen. Zitate unter 16 Zeichen zählten nicht, sonst wäre „Energie“ ein gültiger Beleg. Das kürzeste ausgelieferte Zitat im Datensatz hat 17 Zeichen.
Der Aufbau: 50 Themen, zwei Läufe, rund 2.000 Karteikarten
Getestet wurden 50 typische Prüfungsthemen, je zur Hälfte Oberstufe und Bachelor-Studium, jedes in zwei Läufen. Das ergibt 100 Generierungen mit dem Ziel von je 20 Karteikarten, in der Summe 2.042 erzeugte Karteikarten. Das Modell lief mit Temperatur 0, wodurch die Messung noch keine fehlerfreien oder identischen Ausgaben belegt. Die Quellen waren Serlo, Wikibooks, Wikipedia und Wikiversity, alle unter CC-BY-SA, Stand des Quellen-Abzugs Juni 2026.
Zwei Dinge, die man ehrlich dazusagen muss. Erstens waren das kuratierte, normale Lehrplan-Themen, keine Fangfragen und keine Nischenthemen. Zweitens ist die Stichprobe deutschsprachig. Auf ein exotisches Seminarthema in einer Sprache ohne gute offene Quellen lässt sich die Zahl nicht übertragen.
Das Ergebnis, aufgeteilt nach Niveau
Über alles: 1.997 von 2.042 Karteikarten bestanden, das sind 97,8%. Getrennt nach Niveau wird es interessanter. Abitur-Themen kamen auf 98,9 Prozent (1.000 von 1.011), Studiums-Themen auf 96,7 Prozent (997 von 1.031). Der Datensatz zeigt diesen Unterschied, belegt aber keine Ursache dafür. Eine dünnere Quellenlage oder Formelschreibweisen sind mögliche Erklärungen, keine getrennt getesteten Einflussfaktoren.
Wo es hakt: Mathematik und Informatik
Die Fachverteilung zeigt dasselbe Muster noch deutlicher.
| Fach | erzeugt | ausgeliefert | Quote |
|---|---|---|---|
| Wirtschaft | 160 | 160 | 100 % |
| Medizin | 120 | 120 | 100 % |
| Chemie | 239 | 238 | 99,6 % |
| Physik | 284 | 280 | 98,6 % |
| Biologie | 284 | 280 | 98,6 % |
| Mathematik | 336 | 319 | 94,9 % |
| Informatik | 255 | 240 | 94,1 % |
In dieser Stichprobe bestanden bei Wirtschaft und Medizin alle Kandidaten den Quellenabgleich. Das ist keine Garantie für neue Themen. Mathematik und Informatik hatten die niedrigsten Anteile. Der Datensatz enthält einen verworfenen Mathematik-Kandidaten mit einer Formatierungsbegründung. Daraus lässt sich weder die Ursache aller übrigen Ablehnungen noch eine fachliche Überlegenheit des Filters ableiten. Eine systematische Prüfung falscher Annahmen und Ablehnungen fehlt.
Eine verworfene Karteikarte im Original
Damit das nicht abstrakt bleibt, hier eine der 45 Karteikarten, die es nicht auf den Bildschirm geschafft haben. Mathematik, Studium:
Vorderseite: Was ist die Form einer linearen Funktion?
Rückseite: Eine lineare Funktion hat die Form f(x)=m·x+b. Ihr Graph ist eine Gerade; m ist die Steigung, b der y-Achsenabschnitt.
Die Karteikarte ist fachlich völlig richtig. Trotzdem hat sie den Abgleich mit 0,73 verfehlt, weil das mehrsätzige Zitat in der Quelle Leerzeichen vor den Punkten trägt und Formelteile in LaTeX gesetzt sind. Das System hat sie verworfen. Aus deiner Sicht heißt das: In diesem Test wurde eine fachlich plausible Karteikarte nicht ausgeliefert. Ein bestandener Quellenabgleich bestätigt weiterhin nur das Beleg-Zitat, nicht automatisch die gesamte Antwort.
Warum 100 Prozent und 97,8 Prozent kein Widerspruch sind
Beide Zahlen tauchen bei uns auf, und sie messen Verschiedenes. 97,8% ist der Anteil der erzeugten Karteikarten, deren Beleg die Prüfung besteht. 100% ist der Anteil der ausgelieferten Karteikarten mit Beleg, und der ist trivialerweise vollständig, weil im damaligen Test nur Kandidaten mit bestandenem Quellenabgleich ausgeliefert wurden. Die 45 Verworfenen wurden in dieser Messung nicht ausgeliefert.
Wer nur die 100 Prozent nennt, verschweigt den Filter; wer nur die 97,8 nennt, tut so, als hättest du die Ausschussware bekommen. Deshalb stehen bei uns immer beide da.
Was der Test nicht beweist
Er beweist nicht, dass jede Karteikarte inhaltlich korrekt ist. Vorder- und Rückseite formuliert das Modell selbst; nur der Beleg stammt wörtlich aus der Quelle. Eine Karteikarte kann eine Quelle korrekt zitieren und sie trotzdem schief zusammenfassen. Er beweist auch nicht, dass die Quellen fachdidaktisch gut sind: Sie sind nach Herkunft und Lizenz ausgewählt, nicht von einem Fachdidaktiker abgenommen. Und er sagt nichts über deinen Lernerfolg, dazu misst er die falsche Sache.
Offen ist außerdem eine von Menschen gelabelte Teilstichprobe, mit der sich die Trefferquote des Abgleichs selbst prüfen ließe. Solange die fehlt, ist die 97,8 eine Aussage über den Filter, nicht über die Wahrheit.
Was das für dein Lernen heißt
Für dein Lernen: Lade lieber dein eigenes Skript hoch, als ein Thema frei zu tippen. Dann läuft der Abgleich gegen genau das Dokument, aus dem deine Klausur kommt, und der Beleg zeigt dir die Seite.
Wenn du in Mathematik oder Informatik lernst, rechne damit, dass ein paar Karteikarten fehlen, wo die Quelle stark mit Formeln arbeitet. Ergänze fehlende Karteikarten bei Bedarf von Hand. Schau bei einer Karteikarte, die dir komisch vorkommt, wirklich auf den Beleg. Genau dafür ist er da.
Und wenn du die Zahlen selbst nachrechnen willst: Der Roh-Datensatz mit jedem Zitat, jedem Score und jeder verworfenen Karteikarte steht offen zum Herunterladen. Wie der Quellenabgleich aufgebaut ist und welche Grenzen er hat, steht in der Architektur; was das Siegel an der einzelnen Karteikarte bedeutet, unter Quanta Verified.
Zwei Anschlussfragen beantwortet der Blog an anderer Stelle. Woran sich die Qualität einer KI-Karteikarte über den Quellenstatus hinaus erkennen lässt, steht in KI-Karteikarten die wirklich funktionieren. Wie der Scheduler die geprüften Karteikarten danach terminiert, steht im Artikel Wie Quanta FSRS-6 implementiert hat und warum wir in awesome-fsrs gelistet sind.