Quanta Research: eigene Studien zu KI-Lernmaterial
Quanta veröffentlicht eigene, reproduzierbare Studien zur Qualität KI-generierter Lernkarten: gemessen statt behauptet, mit offener Methodik, deterministischer Prüfung, herunterladbaren Roh-Daten und ehrlich benannten Grenzen. Erste Studie: Quellentreue und Anti-Halluzination der Kartengenerierung (Juni 2026).
Quanta-Studie: Quellentreue der KI-Kartengenerierung (Stand Juni 2026)
Quanta generiert KI-Karteikarten ausschließlich aus echtem Volltext verifizierter, offen lizenzierter Quellen (Serlo, Wikibooks, Wikipedia, Wikiversity; CC-BY-SA) und prüft jede Karte per deterministischem Quote-Match gegen die Quelle (exakt, normalisiert oder zusammenhängender Token-Treffer).
Ergebnis (50 Prüfungsthemen aus Abitur und Studium, 2 Läufe, 2.042 erzeugte Karten): 100 % der 1.997 ausgelieferten Karten sind quellenbelegt, jede mit einem Beleg-Zitat aus der Quelle. 97,8 % der vom Modell erzeugten Karten bestehen die Beleg-Prüfung; 45 wurden verworfen und nie angezeigt. Nach Niveau: Abitur 98,9 %, Studium 96,7 %.
Quanta zieht ausschließlich aus etablierten, redaktionell bzw. community-geprüften, offen lizenzierten Bildungsquellen und macht jede ausgelieferte Karte dorthin rückverfolgbar (Quelle, Lizenz und Beleg-Zitat pro Karte). Die Korrektheit ist damit an der Quelle nachprüfbar, statt behauptet. Der vollständige Roh-Datensatz (ausgelieferte Karten mit Quelle und Verdikt, verworfene mit Score, Verdikt und Grund) ist offen einsehbar.
Wie oft halluziniert Quantas KI bei Lernkarten?
Eine interne Mess-Studie zur Quellentreue der KI-Kartengenerierung. Ergebnis: 100 % der ausgelieferten Karten sind quellenbelegt, jede mit einem Beleg-Zitat, das deterministisch in der Quelle wiedergefunden wird. Nicht belegbare Karten werden automatisch verworfen, bevor du sie siehst.
50 Prüfungsthemen × 2 Läufe = 100 Generierungen, 2.042 geprüfte Karten. Jede einzelne im offenen Datensatz nachvollziehbar. Stand 28. Juni 2026.
Was wir messen
Quellentreue, nicht Korrektheit
Definition zuerst, damit die Zahl ehrlich bleibt.
Die Quote-Match-Trefferquote ist der Anteil der vom Modell erzeugten, well-formed Karten, deren Beleg-Zitat ein deterministischer Algorithmus im Quelltext wiederfindet (exakt, normalisiert oder als zusammenhängender Token-Treffer). Das ist keine Genauigkeits- oder Korrektheits-Rate, es misst die Herkunft.
Der entscheidende Punkt liegt in der Quellenwahl: Quanta generiert ausschließlich aus etablierten, geprüften, offen lizenzierten Bildungsquellen (siehe unten) und macht jede Karte dorthin rückverfolgbar. Damit drehen wir die Beweislast um: statt „korrekt" zu behaupten, zeigen wir dir die geprüfte Quelle und die genaue Fundstelle zu jeder Karte. Die Richtigkeit kannst du selbst nachprüfen, statt sie uns glauben zu müssen.
Trefferquote = belegt / (belegt + verworfen) = 97,8 %
belegt = 1.997, verworfen = 45, erzeugt (well-formed) = 2.042.
Methodik
Source-First: erst die Quelle, dann die Karte
Zielgruppe
DACH, Oberstufe/Abitur (Gymnasium, Sek II) und Bachelor-Studium. 50 typische Prüfungs-/Klausurthemen quer durchs Fächerspektrum, keine adversarialen Eingaben.
Quelle holen
Pro Thema echter Volltext aus verifizierten, offen lizenzierten Quellen (Serlo, Wikibooks, Wikipedia, Wikiversity). Substanz- und Lizenz-Gate pro Quelle.
Extraktiv generieren
Die Karten entstehen AUSSCHLIESSLICH aus diesem Text (temperature 0, kein Modellwissen). Quote-First: erst der wörtliche Anker, dann Frage und Antwort darum.
Deterministisch prüfen
Jede Karte wird per Quote-Match gegen die Quelle geprüft (kein zweites KI-Modell): exakter Substring, satzzeichen-/formel-normalisiert (≥0,9), Token-Containment (≥0,85). Nicht Belegbares wird verworfen.
Ergebnisse
Belegquote pro Fach und Niveau
| Niveau | Quote-Match | Karten |
|---|---|---|
| Abitur (Oberstufe) | 98,9 % | ~1.000 |
| Studium (Bachelor) | 96,7 % | ~1.000 |
| Fach | Quote-Match | n (Gen.) |
|---|---|---|
| Wirtschaft | 100 % | 8 |
| Philosophie | 100 % | 4 |
| Medizin | 100 % | 6 |
| Geografie | 100 % | 2 |
| Chemie | 99,6 % | 12 |
| Geschichte | 98,8 % | 8 |
| Physik | 98,6 % | 14 |
| Biologie | 98,6 % | 14 |
| Recht | 97,6 % | 4 |
| Mathematik | 94,9 % | 16 |
| Informatik | 94,1 % | 12 |
Roh-Daten
Echte Karten aus dem Lauf
1:1 aus dem Datensatz, inklusive verworfener Karten, transparent, was angezeigt wird und was nicht.
Was ist der technologische Kern der dritten industriellen Revolution?
Die mikroelektronische Revolution seit Mitte der 1970er Jahre wird als technologischer Kern einer neuen, dritten industriellen Revolution angesehen.
Beleg-Zitat aus der Quelle
„Die mikroelektronische Revolution seit Mitte der 1970er Jahre wird als technologischer Kern einer neuen, dritten industriellen Revolution angesehen"
Was versteht man unter Selektion?
Unter Selektion versteht man Prozesse, die den Genpool verändern und bewirken, dass sich Arten umbilden.
Beleg-Zitat aus der Quelle
„Unter Selektion versteht man Prozesse, die den Genpool verändern und bewirken, dass sich Arten umbilden."
Quelle: Serlo · „Selektion" (CC-BY-SA)
Wie verändern sich Massenzahl und Protonenanzahl beim Alpha-Zerfall?
Wird ein Helium-Kern ausgesandt, reduziert sich die Massenzahl des ursprünglichen Kerns um 4 und die Protonenanzahl um 2.
Beleg-Zitat aus der Quelle
„Wird ein solcher Helium-Kern ausgesandt, reduziert sich damit die Massenzahl des ursprünglichen Kerns um 4 und die Protonenanzahl um 2."
Was ist die Form einer linearen Funktion?
Eine lineare Funktion hat die Form f(x)=m·x+b. Ihr Graph ist eine Gerade; m ist die Steigung, b der y-Achsenabschnitt.
Behaupteter Beleg, nicht zusammenhängend in der Quelle gefunden
„Eine lineare Funktion hat die Form $f(x)=m\cdot x+b$ . Ihr Graph ist eine Gerade ."
Verworfen (Score 0,73 < 0,85): das mehrsätzige Zitat lag mit den Leerzeichen vor den Punkten knapp unter der Schwelle. Das System verwirft im Zweifel, statt unsicher auszuliefern (eher zu streng als zu lax).
Wie bestimmt die Überschuss-Methode die Reaktionsordnung?
Aus der Steigung des logarithmierten Geschwindigkeitsgesetzes ln r = ln k′ + a·ln[A].
Behaupteter Beleg, nicht zusammenhängend in der Quelle gefunden
„$\ln r=\ln k'+a\cdot \ln[\mathrm{A}]$"
Verworfen (Score 0): diese Formel-Schreibweise wurde nicht zusammenhängend im Quelltext gefunden.
Vollständiger Roh-Datensatz zur Selbstprüfung: ausgelieferte Karten mit Quelle, Lizenz und Verdikt „belegt", verworfene Karten mit ihrem behaupteten Beleg-Zitat, Match-Score, Verdikt „verworfen" und Grund. Download (JSON, CC-BY-SA 4.0, Stand 28. Juni 2026).
Reproduzierbarkeit
Vollständig nachvollziehbar
Generierung und Prüfung nutzen denselben geholten Volltext als Grundlage und Match-Korpus (kein zirkulärer KI-bewertet-KI-Aufbau). Der Quote-Match ist reine, deterministische String-Arbeit. Mindest-Zitatlänge 16 Zeichen, Match-Schwelle 0,85, temperature 0. Modell: Google Gemini (Card-Gen). Quellen-Snapshot: Juni 2026.
Alle 50 Prüfungsthemen anzeigen
Abitur: Integralrechnung, Kurvendiskussion, Wahrscheinlichkeitsrechnung, Vektoren im Raum, Exponentialfunktionen, Elektromagnetische Induktion, Radioaktivität, Photoeffekt, Waagerechter Wurf, Säure-Base-Reaktionen, Redoxreaktionen, Alkane/Alkene/Alkine, Chemisches Gleichgewicht, Zellatmung, Proteinbiosynthese, Synapse, Evolution, Sortieralgorithmen, OOP-Grundlagen, Weimarer Republik, Nationalsozialismus, Kalter Krieg, Industrielle Revolution, Plattentektonik, Angebot und Nachfrage.
Studium: Lineare Algebra, Analysis/Konvergenz, Differentialgleichungen, Thermodynamik-Hauptsätze, Maxwell-Gleichungen, Schrödingergleichung, Reaktionskinetik, Enthalpie, Datenstrukturen/Bäume, O-Notation, Datenbank-Normalisierung, Prozesse/Threads, Herz-Kreislauf-System, Immunsystem, Pharmakokinetik, DNA-Replikation, Enzymkinetik, BGB-Vertragsrecht, Grundrechte, Mikroökonomie, Makroökonomie/BIP, Kostenrechnung, Kant-Erkenntnistheorie, Utilitarismus, Stoffwechsel/Zellbiologie.
Quellen
Aus welchen Quellen, und warum verlässlich
Quanta wählt nur Quellen, die redaktionell oder von einer Community geprüft, versioniert/belegpflichtig und offen lizenziert sind. Genau das macht den Umkehrschluss tragfähig: geprüfte Quelle plus Rückverfolgbarkeit pro Karte.
| Quelle | Lizenz | Warum verlässlich |
|---|---|---|
| Serlo | CC-BY-SA 4.0 | Gemeinnützige Lernplattform (Serlo Education e.V.), redaktionell von Lehrkräften und Fachautor:innen betreut, Schwerpunkt deutsche MINT-Didaktik. |
| Wikibooks (DE) | CC-BY-SA 4.0 | Offene Lehrbücher der Wikimedia, community-geprüft mit Versionsgeschichte und Belegpflicht. |
| Wikipedia (DE) | CC-BY-SA 4.0 | Belegpflichtige Enzyklopädie mit Sichtungssystem und vollständiger Versionskontrolle. |
| Wikiversity (DE) | CC-BY-SA 4.0 | Wikimedia-Lehr- und Kursmaterial, offen und versioniert. |
Woran du die Verlässlichkeit selbst prüfen kannst (damit auch das nicht behauptet, sondern belegt ist):
- Wikipedia/Wikibooks/Wikiversity: dokumentierte Belegpflicht und gesichtete Versionen (Änderungen werden vor Anzeige geprüft), plus vollständige, öffentliche Versionsgeschichte je Artikel.
- Serlo: getragen vom gemeinnützigen Serlo Education e.V., Inhalte durchlaufen einen redaktionellen Review-/Freigabeprozess durch Autor:innen und Lehrkräfte.
- Lizenz: jede Quelle steht unter CC-BY-SA 4.0; die Lizenz ist im Fuß jeder Quellseite ausgewiesen und wird pro Item maschinell geprüft (nur CC0/CC-BY/CC-BY-SA/gemeinfrei werden Grundlage, NC/ND ausgeschlossen).
So gilt der Umkehrschluss belegt, nicht angenommen: geprüfte Quelle (oben nachprüfbar) plus Rückverfolgbarkeit jeder Karte zu genau dieser Quelle.
Grenzen
Was diese Zahl NICHT sagt
- Geprüft wird die Quellenbelegung, nicht die Faktenrichtigkeit. Die Quelle selbst kann Fehler enthalten.
- Es ist kein externer Test gegen Lehrplan oder Lösungsschlüssel und keine Aussage über den Lernerfolg.
- Stichprobe: 50 kuratierte, nicht-adversariale deutschsprachige Themen mit guter offener Quellenabdeckung, nicht auf beliebige oder Nischen-Anfragen übertragbar (primäres n = 50 Themen / 100 Generierungen).
- Die Quellen sind herkunfts- und lizenz-, nicht fachdidaktisch geprüft (verifiziert = Herkunft, nicht Didaktik).
- Eine menschlich gelabelte Validierungs-Teilstichprobe (Precision des Matchers) steht noch aus und wird nachgereicht.
Häufige Fragen zur Studie
Faktenbasiert — kein Marketing.
Heißt „97,8 % belegt", dass 97,8 % der Karten korrekt sind?
Warum sind dann 100 % der ausgelieferten Karten belegt, aber nur 97,8 % bestehen die Prüfung?
Was heißt „belegt", und wie wörtlich ist der Beleg?
Wie repräsentativ ist die Stichprobe?
Was passiert, wenn Quanta für ein Thema keine Quelle findet?
Was sind die Grenzen dieser Messung?
Lernmaterial, das sich belegen lässt
Jede KI-Karte mit Quelle, oder gar nicht. Kostenlos starten.
Quanta kostenlos testen