Quellenbindung bei KI-generierten Lernkarten offen gemessen
Die interne Studie prüft Quote-Matching im Source-First-Pfad: 1.997 von 2.042 erzeugten Kandidaten bestanden. Gemessen wird Textbindung, nicht Faktenrichtigkeit.
100 % belegt · 97,8 % bestehen den Quote-Match · 2.042 Karten
Zusammenfassung
In 100 Generierungen (50 Prüfungsthemen aus Abitur und Studium, je 2 Läufe) erzeugte Quantas Source-First-Pipeline 2.042 Karteikarten. 45 bestanden den deterministischen Quote-Match gegen ihre Quelle nicht und wurden serverseitig verworfen; 1.997 wurden ausgeliefert, eine Trefferquote von 97,8 %. Alle 1.997 ausgelieferten Karten tragen ein Quellen-Beleg-Zitat (100 %, durch Konstruktion). Gemessen wird die Quellentreue (Herkunft der Aussage), nicht die Faktenrichtigkeit. Jede Zahl ist aus dem offenen Roh-Datensatz nachrechenbar.
Von 2.042 erzeugten zu 1.997 belegten Karten
Stand 28. Juni 2026. Vollständige Berechnung weiter unten unter „Ergebnisse".
Der Beleg bleibt dort, wo du ihn brauchst: an der Karte.
Die Studie misst dasselbe Gate, das im Source-First-Pfad vor der Auslieferung steht. Quanta lädt echten Quelltext, erzeugt daraus die Karte und zeigt die Fundstelle direkt am Lerninhalt.
- 01Du startest mit einem Thema oder deinen eigenen Unterlagen.
- 02Quanta verbindet jede ausgelieferte Source-First-Karte mit Quelle und Fundstelle.
- 03Kann der Beleg im verwendeten Text nicht bestätigt werden, wird der Kandidat verworfen.
Ein bestätigter Beleg macht eine Aussage nachvollziehbar. Er ist kein automatischer Faktencheck.
Live-Suche · Alpha-Zerfall
Serlo · „Radioaktivität"
Ausgewählt
Wikipedia · „Alphastrahlung"
Wikibooks · Physik
Quanta durchsucht geprüfte, offen lizenzierte Wissensquellen zu deinem Thema und wählt die beste Fundstelle.
Quellentreue, nicht Korrektheit
Definition zuerst, damit die Zahl ehrlich bleibt.
Die Quote-Match-Trefferquote ist der Anteil der vom Modell erzeugten, well-formed Karten, deren Beleg-Zitat ein deterministischer Algorithmus im Quelltext wiederfindet (exakt, normalisiert oder als zusammenhängender Token-Treffer). Das ist keine Genauigkeits- oder Korrektheits-Rate, es misst die Herkunft.
Der entscheidende Punkt liegt in der Quellenwahl: Quanta generiert ausschließlich aus etablierten, geprüften, offen lizenzierten Bildungsquellen und macht jede Karte dorthin rückverfolgbar. In dieser Studie waren das vier Quellen (siehe unten); der Quellenkatalog ist seither auf über 60 gewachsen, nach demselben Prinzip geprüft. Damit drehen wir die Beweislast um: statt „korrekt" zu behaupten, zeigen wir dir die geprüfte Quelle und die genaue Fundstelle zu jeder Karte. Die Richtigkeit kannst du selbst nachprüfen, statt sie uns glauben zu müssen.
Trefferquote = belegt / (belegt + verworfen) = 97,8 %
belegt = 1.997, verworfen = 45, erzeugt (well-formed) = 2.042.
Source-First: erst die Quelle, dann die Karte
Zielgruppe
DACH, Oberstufe/Abitur (Gymnasium, Sek II) und Bachelor-Studium. 50 typische Prüfungs-/Klausurthemen quer durchs Fächerspektrum, keine adversarialen Eingaben.
Quelle holen
Pro Thema echter Volltext aus verifizierten, offen lizenzierten Quellen (Serlo, Wikibooks, Wikipedia, Wikiversity). Substanz- und Lizenz-Gate pro Quelle.
Extraktiv generieren
Die Karten entstehen AUSSCHLIESSLICH aus diesem Text (temperature 0, kein Modellwissen). Quote-First: erst der wörtliche Anker, dann Frage und Antwort darum.
Deterministisch prüfen
Jede Karte wird per Quote-Match gegen die Quelle geprüft (kein zweites KI-Modell): exakter Substring, satzzeichen-/formel-normalisiert (≥0,9), Token-Containment (≥0,85). Nicht Belegbares wird verworfen.
Parameter & Annahmen
- Generierungsmodell (28. Juni 2026)
- Google Gemini (Card-Gen), temperature 0, thinkingBudget 0
- KI-Anbieter heute
- Seit dem 22.08.2026 die Mistral AI SAS mit Sitz in Paris; die hier dokumentierte Messung lief auf dem damaligen Generierungsmodell und wurde seither nicht wiederholt
- Prüfverfahren
- Deterministischer Quote-Match (kein zweites KI-Modell)
- Match-Stufen
- exakt (Score 1,0) · normalisiert (0,95–0,9) · Token-Treffer (≥0,85)
- Mindest-Zitatlänge
- 16 Zeichen (kürzeste ausgelieferte: 17)
- Quellen (28. Juni 2026)
- Serlo, Wikibooks, Wikipedia, Wikiversity (alle CC-BY-SA 4.0)
- Quellenkatalog heute
- Über 60 geprüft lizenzierte Quellen je nach Fach und Thema (u. a. OpenStax, Open RN, PubChem, gesetze-im-internet.de); die hier dokumentierte Messung lief auf dem damaligen, kleineren Katalog und wurde seither nicht wiederholt
- Stichprobe
- 50 Prüfungsthemen (25 Abitur + 25 Studium) × 2 Läufe = 100 Generierungen
- Ziel je Generierung
- 20 Karten (97× erreicht, 3× 19 nach Verwerfen)
- Quellen-Snapshot
- Juni 2026
Belegquote nach Niveau und Fach
Absolute Zahlen je Gruppe. Quote = ausgelieferte / erzeugte Karten.
Nach Niveau
| Niveau | n (Gen.) | erzeugt | ausgeliefert | verworfen | Quote |
|---|---|---|---|---|---|
| Abitur (Oberstufe) | 50 | 1011 | 1000 | 11 | 98,9 % |
| Studium (Bachelor) | 50 | 1031 | 997 | 34 | 96,7 % |
Nach Fach
| Fach | n (Gen.) | erzeugt | ausgeliefert | verworfen | Quote |
|---|---|---|---|---|---|
| Wirtschaft | 8 | 160 | 160 | 0 | 100 % |
| Medizin | 6 | 120 | 120 | 0 | 100 % |
| Philosophie | 4 | 80 | 80 | 0 | 100 % |
| Geografie | 2 | 40 | 40 | 0 | 100 % |
| Chemie | 12 | 239 | 238 | 1 | 99,6 % |
| Geschichte | 8 | 162 | 160 | 2 | 98,8 % |
| Physik | 14 | 284 | 280 | 4 | 98,6 % |
| Biologie | 14 | 284 | 280 | 4 | 98,6 % |
| Recht | 4 | 82 | 80 | 2 | 97,6 % |
| Mathematik | 16 | 336 | 319 | 17 | 94,9 % |
| Informatik | 12 | 255 | 240 | 15 | 94,1 % |
Schwächste Felder: Mathematik (94,9 %) und Informatik (94,1 %), formel- und algorithmuslastiger Stoff mit dünnerer deutscher Quellenlage. Kein Fach unter 94 %.
So wird gerechnet
Trefferquote = ausgeliefert / erzeugt
Gesamt = 1.997 / 2.042 = 0,9780 = 97,8 %
Abitur = 1.000 / 1.011 = 0,9891 = 98,9 %
Studium = 0 997 / 1.031 = 0,9670 = 96,7 %
erzeugt = ausgeliefert + verworfen (well-formed Karten). Nicht-parsebare Modell-Ausgaben im Nenner: gemessen 0.
Trefferquote je Fach
Anteil belegter Karten je Fach, absteigend sortiert. Ehrliche Skala 0–100 % (nicht beschnitten); Bernstein markiert Felder unter 96 %.
Was mit den 45 verworfenen Karten war
Die Score-Verteilung zeigt: fast alle Drops waren klar unbelegt, kaum Grenzfälle.
Echte Karten aus dem Lauf
1:1 aus dem Datensatz, inklusive verworfener Karten, transparent, was angezeigt wird und was nicht.
Was ist der technologische Kern der dritten industriellen Revolution?
Die mikroelektronische Revolution seit Mitte der 1970er Jahre wird als technologischer Kern einer neuen, dritten industriellen Revolution angesehen.
Beleg-Zitat aus der Quelle
„Die mikroelektronische Revolution seit Mitte der 1970er Jahre wird als technologischer Kern einer neuen, dritten industriellen Revolution angesehen"
Was versteht man unter Selektion?
Unter Selektion versteht man Prozesse, die den Genpool verändern und bewirken, dass sich Arten umbilden.
Beleg-Zitat aus der Quelle
„Unter Selektion versteht man Prozesse, die den Genpool verändern und bewirken, dass sich Arten umbilden."
Quelle: Serlo · „Selektion" (CC-BY-SA)
Wie verändern sich Massenzahl und Protonenanzahl beim Alpha-Zerfall?
Wird ein Helium-Kern ausgesandt, reduziert sich die Massenzahl des ursprünglichen Kerns um 4 und die Protonenanzahl um 2.
Beleg-Zitat aus der Quelle
„Wird ein solcher Helium-Kern ausgesandt, reduziert sich damit die Massenzahl des ursprünglichen Kerns um 4 und die Protonenanzahl um 2."
Was ist die Form einer linearen Funktion?
Eine lineare Funktion hat die Form f(x)=m·x+b. Ihr Graph ist eine Gerade; m ist die Steigung, b der y-Achsenabschnitt.
Behaupteter Beleg, nicht zusammenhängend in der Quelle gefunden
„Eine lineare Funktion hat die Form $f(x)=m\cdot x+b$ . Ihr Graph ist eine Gerade ."
Verworfen (Score 0,73 < 0,85): das mehrsätzige Zitat lag mit den Leerzeichen vor den Punkten knapp unter der Schwelle. Das System verwirft im Zweifel, statt unsicher auszuliefern (eher zu streng als zu lax).
Wie bestimmt die Überschuss-Methode die Reaktionsordnung?
Aus der Steigung des logarithmierten Geschwindigkeitsgesetzes ln r = ln k′ + a·ln[A].
Behaupteter Beleg, nicht zusammenhängend in der Quelle gefunden
„$\ln r=\ln k'+a\cdot \ln[\mathrm{A}]$"
Verworfen (Score 0): diese Formel-Schreibweise wurde nicht zusammenhängend im Quelltext gefunden.
Alle 2.042 gemessenen Karten prüfen
Durchsuche den Messkorpus nach Thema, Fach, Niveau und Status. Ausgelieferte Karten enthalten Beleg-Zitat und Quelle; verworfene Kandidaten ihren Verwerfungsgrund.
Explorer, CSV und JSON enthalten denselben deutschen Messkorpus. Gemessen wird Quellenbindung, nicht Faktenrichtigkeit oder Lernerfolg.
Vollständig nachvollziehbar
Generierung und Prüfung nutzen denselben geholten Volltext als Grundlage und Match-Korpus (kein zirkulärer KI-bewertet-KI-Aufbau). Der Quote-Match ist reine, deterministische String-Arbeit; die vollständigen Parameter stehen oben unter „Parameter & Annahmen".
So rechnest du es selbst nach: Lade die CSV-Datei oder das Pretty JSON. In der CSV ist jede Karte eine Zeile mit Status, Beleg-Zitat, Quelle, Match-Score und Verwerfungsgrund. Im JSON zählst du je Eintrag in themen[] die Karten in ausgeliefert und verworfen. ausgeliefert / (ausgeliefert + verworfen) ergibt die Quote, pro Thema, summiert pro Fach, pro Niveau und gesamt.
Alle 50 Prüfungsthemen anzeigen
Abitur: Integralrechnung, Kurvendiskussion, Wahrscheinlichkeitsrechnung, Vektoren im Raum, Exponentialfunktionen, Elektromagnetische Induktion, Radioaktivität, Photoeffekt, Waagerechter Wurf, Säure-Base-Reaktionen, Redoxreaktionen, Alkane/Alkene/Alkine, Chemisches Gleichgewicht, Zellatmung, Proteinbiosynthese, Synapse, Evolution, Sortieralgorithmen, OOP-Grundlagen, Weimarer Republik, Nationalsozialismus, Kalter Krieg, Industrielle Revolution, Plattentektonik, Angebot und Nachfrage.
Studium: Lineare Algebra, Analysis/Konvergenz, Differentialgleichungen, Thermodynamik-Hauptsätze, Maxwell-Gleichungen, Schrödingergleichung, Reaktionskinetik, Enthalpie, Datenstrukturen/Bäume, O-Notation, Datenbank-Normalisierung, Prozesse/Threads, Herz-Kreislauf-System, Immunsystem, Pharmakokinetik, DNA-Replikation, Enzymkinetik, BGB-Vertragsrecht, Grundrechte, Mikroökonomie, Makroökonomie/BIP, Kostenrechnung, Kant-Erkenntnistheorie, Utilitarismus, Stoffwechsel/Zellbiologie.
Aus welchen Quellen, und warum verlässlich
Quanta wählt nur Quellen, die redaktionell oder von einer Community geprüft, versioniert/belegpflichtig und offen lizenziert sind. Genau das macht den Umkehrschluss tragfähig: geprüfte Quelle plus Rückverfolgbarkeit pro Karte.
| Quelle | Lizenz | Warum verlässlich |
|---|---|---|
| Serlo | CC-BY-SA 4.0 | Gemeinnützige Lernplattform (Serlo Education e.V.), redaktionell von Lehrkräften und Fachautor:innen betreut, Schwerpunkt deutsche Didaktik in Mathematik und Naturwissenschaften. |
| Wikibooks (DE) | CC-BY-SA 4.0 | Offene Lehrbücher der Wikimedia, community-geprüft mit Versionsgeschichte und Belegpflicht. |
| Wikipedia (DE) | CC-BY-SA 4.0 | Belegpflichtige Enzyklopädie mit Sichtungssystem und vollständiger Versionskontrolle. |
| Wikiversity (DE) | CC-BY-SA 4.0 | Wikimedia-Lehr- und Kursmaterial, offen und versioniert. |
Die vier Quellen dieser Studie (Stand 28. Juni 2026). Der Quellenkatalog ist seither auf über 60 geprüft lizenzierte Quellen gewachsen, je nach Fach ausgewählt und nach demselben Maßstab geprüft.
Woran du die Verlässlichkeit selbst prüfen kannst (damit auch das nicht behauptet, sondern belegt ist):
- Wikipedia/Wikibooks/Wikiversity: dokumentierte Belegpflicht und gesichtete Versionen (Änderungen werden vor Anzeige geprüft), plus vollständige, öffentliche Versionsgeschichte je Artikel.
- Serlo: getragen vom gemeinnützigen Serlo Education e.V., Inhalte durchlaufen einen redaktionellen Review-/Freigabeprozess durch Autor:innen und Lehrkräfte.
- Lizenz: jede Quelle steht unter CC-BY-SA 4.0; die Lizenz ist im Fuß jeder Quellseite ausgewiesen und wird pro Item maschinell geprüft (nur CC0/CC-BY/CC-BY-SA/gemeinfrei werden Grundlage, NC/ND ausgeschlossen).
So gilt der Umkehrschluss belegt, nicht angenommen: geprüfte Quelle (oben nachprüfbar) plus Rückverfolgbarkeit jeder Karte zu genau dieser Quelle.
Verteilung der 1.997 Belege auf die Quellen
| Quelle (Host) | Belege |
|---|---|
| de.wikipedia.org | 800 |
| de.serlo.org | 605 |
| de.wikibooks.org | 545 |
| de.wikiversity.org | 47 |
Was diese Zahl NICHT sagt
- Geprüft wird die Quellenbelegung, nicht die Faktenrichtigkeit. Die Quelle selbst kann Fehler enthalten.
- Nur das Beleg-Zitat stammt wörtlich aus der Quelle. Front und Rückseite formuliert das Modell selbst und kann dabei eigene Ungenauigkeiten einbringen, auch wenn das Zitat korrekt belegt ist.
- „Belegt" umfasst exakte, normalisierte und Token-Treffer (≥85 % der Wörter zusammenhängend). Ein normalisierter oder Token-Treffer ist nicht zeichengenau-wörtlich, sondern bis auf Groß/Klein, Satzzeichen und Formel-Schreibweise deckungsgleich.
- Es ist kein externer Test gegen Lehrplan oder Lösungsschlüssel und keine Aussage über den Lernerfolg.
- Stichprobe: 50 kuratierte, nicht-adversariale deutschsprachige Themen mit guter offener Quellenabdeckung, nicht auf beliebige oder Nischen-Anfragen übertragbar (primäres n = 50 Themen / 100 Generierungen).
- Die Quellen sind herkunfts- und lizenz-, nicht fachdidaktisch geprüft (verifiziert = Herkunft, nicht Didaktik).
- Geltungsbereich: der themenbasierte Source-First-Pfad. Bei eigenem PDF-/Scan-Upload gilt der Beleg gegen dein Dokument, nicht gegen offene Quellen.
- Eine menschlich gelabelte Validierungs-Teilstichprobe (Precision des Matchers) steht noch aus und wird nachgereicht.
Belegbar statt behauptet
Über einen realistischen Querschnitt aus Abitur- und Studiums-Stoff (50 Themen, 2 Läufe, 2.042 Karten) liefert Quantas Source-First-Architektur belegbares Lernmaterial: 97,8 % der erzeugten Karten bestehen die deterministische Quellenprüfung, und 100 % der ausgelieferten Karten tragen einen Quellenbeleg. Das Ergebnis ist über beide Läufe und alle elf Fächer stabil, kein Fach unter 94 %.
Die Beweislast ist umgekehrt
Nicht „glaub uns, es stimmt", sondern „hier ist die geprüfte Quelle und die Fundstelle". Korrektheit wird nachprüfbar gemacht, statt behauptet.
Die Schwäche ist strukturell
Niedrigere Quoten (Mathematik, Informatik) kommen von formel- und algorithmuslastigem Stoff mit dünner deutscher Quellenlage. Sie zeigen sich als weniger Karten, nie als unbelegte. Das Gate hält.
Die Prüfung ist nicht geschönt
44 von 45 verworfenen Karten liegen bei Score 0, nicht knapp unter der Schwelle. Das System verwirft eher zu streng als zu lax.
Ausblick: Als Nächstes folgen eine menschlich gelabelte Validierungs-Teilstichprobe (Precision des Matchers), die Ausweitung auf breitere und bewusst adversariale Themen, bessere Quellen für formellastige naturwissenschaftliche Felder und ein Match-Score pro ausgelieferter Karte im Datensatz. Die hier berichtete Zahl misst die Quellentreue, nicht die Faktenrichtigkeit. Sie ist die ehrlichste Kennzahl, die sich am offenen Datensatz belegen lässt.
Häufige Fragen zur Studie
Heißt „97,8 % belegt", dass 97,8 % der Karten korrekt sind?
Warum sind dann 100 % der ausgelieferten Karten belegt, aber nur 97,8 % bestehen die Prüfung?
Was heißt „belegt", und wie wörtlich ist der Beleg?
Wie repräsentativ ist die Stichprobe?
Was passiert, wenn Quanta für ein Thema keine Quelle findet?
Was sind die Grenzen dieser Messung?
Lernmaterial, das sich belegen lässt
Source-First-Karten zeigen ihren Belegstatus; ohne passende Quelle entstehen keine Karteikarten. Essential ist für berechtigte Nutzer 7 Tage testbar.