Grounding allein genügt nicht
Der akzeptierte Standard für Faktentreue ist Retrieval-Augmented Generation (RAG): die Antwort wird an extern abgerufenen Quellen verankert statt aus dem Modellgedächtnis erfunden (Lewis et al., NeurIPS 2020, arXiv:2005.11401). Das ist richtig , aber als alleinige Maßnahme nachweislich unzureichend:
- RAG halluziniert weiter. Die Stanford-RegLab-Studie (Magesh et al., 2024, arXiv:2405.20362) maß bei führenden juristischen RAG-Tools 17-33 % Halluzination , trotz Quellenanbindung. RAGTruth (Niu et al., ACL 2024) belegt: Modelle behaupten auch mit Quelle Dinge, die nicht im Abruf stehen.
- Selbst-Einschätzung ist das falsche Signal. Anthropics eigene Arbeit (Kadavath et al., 2022, arXiv:2207.05221) zeigt, dass das Selbstwissen eines Modells out-of-distribution nicht kalibriert. Der gefährlichste Fehler ist die selbstsicher-falsche Aussage , die ein Selbst-Check gerade nicht fängt.
- Was empirisch wirkt: unabhängige Prüfung (Cross-Model statt Selbst-Urteil), Konsistenz-/Entropie-Signale (semantische Entropie, Farquhar et al., Nature 2024, doi:10.1038/s41586-024-07421-0) und Abstention , lieber nichts ausliefern als Ungeprüftes.
Eine Pipeline, fünf Schichten
Aus dieser Forschung leitet Quanta eine bewusste Architektur ab , kein Versprechen, das man brechen kann, sondern ein Stapel sich ergänzender Sicherungen:
- Grounding-first. Jedes Thema versucht zuerst, aus geprüften, offen lizenzierten Bildungsquellen zu grounden. Gelingt das, trägt jede Karte einen deterministischen Quote-Match , ihr Beleg-Zitat wird zeichengenau in der Quelle wiedergefunden (kein zweites KI-Urteil). Nicht belegbare Karten werden verworfen.
- Abstention, ohne Hintertür. Findet sich keine Quelle, entstehen keine Karteikarten. Quanta sagt das ehrlich und nennt die drei Wege: Thema präzisieren, Datei hochladen, URL einfügen.
- Unabhängige zweite Schicht. Ein anderes Modell (nicht der Generator selbst) prüft zusätzlich, ob die Karteikarte aus ihrem Beleg folgt. Der Check ist fail-closed: bleibt die Prüfung aus, gibt es keine Karteikarte.
- Nur Distraktoren dürfen Modellwissen sein. Bei Multiple-Choice ist die richtige Antwort immer belegt. Allein die falschen Antwortmöglichkeiten stammen aus dem Modell, weil sie bewusst falsch und trotzdem knifflig sein müssen.
- Ehrliches Siegel + gemessene Rate. Quellentreue Karteikarten tragen das grüne Siegel; früher aus Modellwissen erzeugte tragen weiterhin ein graues „KI-Wissen", damit ihre Herkunft sichtbar bleibt. Die Trefferquote ist gemessen und im offenen Datensatz nachrechenbar , nicht behauptet (siehe Studie).
Quellentreue ist nicht Faktenrichtigkeit
Der grüne Haken bedeutet „belegt", nicht „garantiert wahr". Quote-Match beweist, dass eine Aussage so in der angebundenen Quelle steht , die Verantwortung für die Korrektheit liegt damit nachprüfbar bei der Quelle statt bei einer Behauptung der KI. Das ist die ehrlichste Form, die für maschinell erzeugtes Lernmaterial überhaupt erreichbar ist, und sie ist an jeder Karte zur Quelle rückverfolgbar.
Was wir bewusst NICHT behaupten
Es gibt keine Methode, die die Korrektheit einer ungegroundeten KI-Aussage garantiert , das ist eine fundamentale Grenze, kein Quanta-Problem. Deshalb verspricht Quanta nicht „immer korrekt". Für quellenlose Themen gibt es aber auch keinen Notnagel aus Modellwissen mehr: dann entstehen keine Karteikarten, und Quanta nennt stattdessen die drei Wege zu einer Quelle. Der gegroundete Pfad ist nicht mehr nur der Standard, er ist der einzige.
Die Zahlen zu Quantas eigener Quellentreue , 100 % der ausgelieferten Karten mit Beleg-Zitat, Quote-Match-Rate, offener Roh-Datensatz , stehen in der Mess-Studie „KI ohne Halluzination". Recherchiert und gebaut von Amos Matzke, Gründer von Quanta , die RAG-Halluzinations-Forschung geprüft und die Architektur bewusst daraus abgeleitet.