Muss die KI mich prüfen?

In Folge 3 war ich bei einer zunächst beruhigenden Erkenntnis angekommen: Eine Lern-KI weiß nicht einfach, was ich kann.

Sie beobachtet Antworten, Fehler, Gesprächsverläufe und Bearbeitungsspuren. Daraus baut sie eine Vermutung. Das ist erheblich sympathischer als die Vorstellung, irgendeine Maschine hätte nach drei Multiple-Choice-Fragen meine Kompetenz vollständig erfasst.

Es erzeugt allerdings ein neues Problem.

Wenn die KI nur vermutet, dass ich etwas kann – wie findet sie heraus, ob ihre Vermutung stimmt?

Man könnte mich fragen. Nur bin ich als Auskunftsstelle über meinen eigenen Lernstand nicht immer zuverlässig.

Also bleibt irgendwann eine etwas handfestere Möglichkeit: Ich muss etwas tun, ohne dass mir die KI vorher zeigt, wie es geht.

Zeig es mir einmal selbst

Das muss kein Testbogen sein.

Beim Französisch könnte die KI mich bitten, auf eine unerwartete Frage spontan zu antworten. Bei der Vorbereitung auf eine Fachprüfung könnte sie mir einen neuen Fall vorlegen. Und in der IT wäre eine brauchbare Gegenprobe vielleicht gerade nicht die Frage, welchen Befehl ich gestern gelernt habe, sondern ein System, das sich geringfügig anders danebenbenimmt als im Tutorial.

Die Grundidee ist schlicht: Wenn wir wissen wollen, ob etwas selbstständig verfügbar ist, brauchen wir irgendwann eine Situation, in der es selbstständig hervorgebracht werden muss.

Nur beginnt genau hier die nächste Schwierigkeit.

Eine solche Aufgabe misst nicht bloß. Sie kann gleichzeitig etwas mit dem Lernen machen.

Eine Frage, die sich einmischt

Aktives Abrufen kann späteres Behalten verbessern. In klassischen Experimenten von Roediger und Karpicke war erneutes Lesen nach wenigen Minuten zunächst im Vorteil. Nach zwei Tagen oder einer Woche zeigte sich dagegen ein Vorteil der vorherigen Abrufversuche.[1]

Eine spätere Übersicht über 50 Klassenraumexperimente mit insgesamt 5.374 Lernenden fand in sehr unterschiedlichen schulischen Situationen ebenfalls häufig Vorteile von Retrieval Practice. Die Autoren weisen zugleich auf Grenzen der untersuchten Kontexte hin; außerhalb westlich geprägter Bildungssysteme war die Datenbasis deutlich dünner.[2]

Für unsere Frage ist daran etwas anderes fast noch interessanter als der bekannte „Testing Effect“: Der Abrufversuch ist keine neutrale Messsonde.

Ich stelle eine Frage, weil ich herausfinden möchte, was vorhanden ist. Während der Lernende versucht, die Antwort hervorzubringen, kann sich genau dieses Wissen weiter verändern.

Das ist für das Lernen erfreulich und für eine saubere Diagnose ein Grund, etwas genauer hinzusehen.

Üben, herausfinden oder entscheiden?

Das Wort „prüfen“ versteckt mehrere verschiedene Tätigkeiten.

Eine Frage kann gestellt werden, damit jemand übt. Sie kann dazu dienen, eine Vermutung über den Lernstand zu überprüfen. Und sie kann Teil einer Prüfung sein, aus der eine folgenreiche Entscheidung entsteht: bestanden, nicht bestanden, qualifiziert, noch nicht qualifiziert.

Bei formativer Beurteilung wird die gewonnene Information gerade deshalb interessant, weil sie für weitere Lern- oder Lehrschritte verwendet wird.[3] Eine institutionelle Prüfung hat einen anderen Anspruch. Dort geht es zusätzlich darum, ob die Aufgaben und Ergebnisse für den vorgesehenen Zweck hinreichend valide, zuverlässig und fair interpretiert werden können.[4]

Das bedeutet nicht, dass für jedes Lernquiz ein psychometrisches Institut gegründet werden muss. Es bedeutet nur, dass wir nicht jede richtige Antwort gleich behandeln dürfen.

Eine Lern-KI kann eine hervorragende Übungsfrage stellen, ohne damit schon eine belastbare Prüfungsentscheidung begründen zu können.

Wenn die Hilfe hilft

Nehmen wir an, ich löse eine Aufgabe nicht.

Die KI gibt einen kleinen Hinweis. Ich versuche es erneut. Dann folgt noch etwas Struktur, vielleicht ein Beispiel oder schließlich die Erklärung.

Am Ende gelingt die Lösung.

Das kann ein sehr guter Lernprozess gewesen sein. Nur wissen wir jetzt etwas anderes als zu Beginn.

Wir wissen, dass ich die Aufgabe mit dieser Unterstützung lösen konnte.

Wenn die KI anschließend dieselbe Aufgabe noch einmal stellt und ich sie richtig beantworte, ist auch das ein interessantes Ergebnis. Die gerade gegebene Hilfe gehört nun aber zur Vorgeschichte dieser Antwort. Sie lässt sich nicht aus der Messung herausrechnen, nur weil das Ergebnis schön aussieht.

Wollen wir danach wieder wissen, was ohne Hilfe verfügbar ist, brauchen wir eine neue, passende Gegenprobe.

Und damit kehren die Unterschiede aus Folge 1 zurück. Eine neue Aufgabe unmittelbar nach der Erklärung zeigt etwas anderes als eine Aufgabe einige Tage später. Und beides ist noch einmal etwas anderes als eine Aufgabe, bei der das Gelernte in einer veränderten Situation eingesetzt werden muss.

Ein grünes Häkchen hat damit weiterhin Arbeit. Es darf nur nicht alle diese Fälle gleichzeitig bedeuten.

Wie neu muss neu sein?

Eine Gegenprobe darf nicht einfach die alte Aufgabe mit einem anderen Komma sein. Dann könnte vor allem das konkrete Beispiel wiedererkannt werden.

Sie darf aber auch nicht beliebig weit wegführen.

Wenn ich französische Wegbeschreibungen gelernt habe, wäre eine spontane Frage nach dem Bahnhof eine plausible Variation. Eine Debatte über die französische Rentenpolitik wäre authentisch, würde aber möglicherweise ein anderes Kompetenzproblem eröffnen.

Bei technischen Aufgaben ist es ähnlich. Wer einen Fehler exakt nach einem Tutorial beheben kann, hat etwas gelernt. Ob daraus schon flexible Fehlersuche geworden ist, zeigt sich eher an einem neuen Fall, in dem Ursache, Oberfläche oder Lösungsweg variiert sind.

Eine Meta-Analyse von Pan und Rickard über 122 Experimente fand im Mittel positive Transfereffekte vorheriger Abrufübungen. Die Stärke hing jedoch deutlich davon ab, welche Art von Transfer verlangt wurde, wie der Abruf gestaltet war und wie erfolgreich er zunächst gelang.[5]

Das hilft uns gegen zwei bequeme Irrtümer: Eine fast identische Wiederholungsfrage ist noch kein überzeugender Transfernachweis. Eine maximal fremde Aufgabe ist aber ebenfalls nicht automatisch die bessere Probe; irgendwann beginnt sie etwas anderes zu verlangen.

Warum nicht einfach öfter testen?

Hier könnte Lernsoftware auf eine sehr softwaretypische Idee kommen: Wenn Gegenproben nützlich sind, nehmen wir mehr davon.

Die Forschung liefert dafür keine allgemeine Regel.

In einem randomisierten Versuch mit 399 Erwachsenen in einem Onlinekurs verbesserten Vorabtests die Lernergebnisse über alle Teilnehmenden hinweg nicht generell; zugleich verringerte ihre Anwesenheit die Persistenz im Kurs. Unter denjenigen, die den Kurs abschlossen, sah das Bild günstiger aus – was wiederum zeigt, wie leicht man bei der Interpretation nur auf die Verbleibenden schauen kann.[6]

Auch Prüfungsangst und die Bedeutung, die einem Test zugeschrieben wird, beeinflussen den Umgang mit Selbsttests. In fünf Studien fanden Liu und Kollegen Zusammenhänge zwischen Testangst, Stakes, der Bereitschaft zum Selbsttesten und Lernleistung.[7]

Und selbst die Frageform ist nicht harmlos. Multiple-Choice-Distraktoren können falsche Informationen verfügbar machen; Butler und Roediger zeigten, dass sowohl unmittelbares als auch verzögertes Korrekturfeedback solche späteren Fehlantworten gegenüber einer Bedingung ohne Feedback reduzieren konnte.[8]

Die Konsequenz lautet also nicht: möglichst wenig fragen. Sie lautet ebenso wenig: möglichst oft fragen.

Eine Lernumgebung sollte wissen, warum sie gerade eine Gegenprobe braucht.

Und wer prüft die Prüfungsfrage?

Mit generativer KI ist eine weitere Knappheit verschwunden: Fragen lassen sich nahezu beliebig erzeugen.

Das ist nützlich. Es ist nur noch keine Garantie für Qualität.

Isley und Kollegen untersuchten 2026 KI-generierte Fragen in 91 Hochschulkursen mit knapp 1.700 Studierenden. Die Fragen entstanden nicht in einem einzigen Prompt, sondern in einem iterativen Verfahren aus Generierung, Kritik und Überarbeitung. In der untersuchten Stichprobe zeigten sie auf Basis von Item-Response-Modellen Eigenschaften, die mit fachlich erstellten Fragen für standardisierte Prüfungen vergleichbar waren.[9]

Das ist ein beachtlicher Befund. Er ist keine Generalvollmacht für ungeprüfte KI-Fragen.

In einer kleineren Untersuchung von Witsken, Crk und Gultepe beantworteten Studierende KI-unterstützt formulierte Multiple-Choice-Fragen im Mittel schlechter als die Fragen ihres Dozenten. Die Autoren diskutieren selbst mehrere mögliche Erklärungen, darunter höhere Schwierigkeit oder größere Vertrautheit mit dem Stil des Lehrenden.[10]

Für unsere Lernwelt wird damit eine unangenehm vernünftige Frage wichtig: Nicht nur, ob die KI eine Aufgabe erzeugen kann, sondern wofür diese Aufgabe als Evidenz taugt.

Eine grammatisch perfekte Frage kann immer noch das Falsche prüfen.

Ich glaube, das kann ich

Vielleicht könnten wir uns einiges davon sparen und einfach den Lernenden fragen.

Das sollten wir sogar tun. Wie sicher sich jemand fühlt, ob er noch üben möchte und ob eine Gegenprobe gerade sinnvoll erscheint, gehört zu einer Lernumgebung, die nicht bloß über Menschen verfügt.

Nur ist das eigene Gefühl kein Ersatz für eine Leistung.

Dunlosky und Rawson untersuchten Lernende bei Definitionen und fanden, dass Überkonfidenz zu einem zu frühen Ende des Lernens beitragen und mit schlechterem späterem Behalten zusammenhängen kann.[11] Karpicke zeigte zudem, dass Lernende bei selbstgesteuerter Abrufpraxis bereits einmal richtig erinnerte Inhalte häufig aus der weiteren Übung herausnahmen, obwohl zusätzliche Abrufe für dauerhaftes Lernen nützlich sein konnten.[12]

Das spricht nicht gegen Selbststeuerung. Es spricht dafür, Selbsteinschätzung und beobachtbare Leistung miteinander ins Gespräch zu bringen.

Vielleicht sagt der Lernende: „Das sitzt.“

Dann kann die KI antworten: „Gut. Wollen wir es an etwas Neuem ausprobieren?“

Wenn die Antwort nein lautet, ist das ebenfalls Information. Nicht über mangelnde Kompetenz, sondern zunächst darüber, was der Mensch gerade möchte.

Eine faire Gegenprobe

Damit bekommt „Prüfen“ einen anderen Klang.

Das System hat eine Vermutung über einen begrenzten Teil meines Könnens. Wenn diese Vermutung für den nächsten Lernschritt wichtig ist, kann es eine passende Gegenprobe anbieten.

Ich erkläre einen Zusammenhang ohne Hilfe. Ich übersetze einen neuen Satz. Ich löse einen Fall, dessen Oberfläche ich noch nicht kenne. Ich suche einen technischen Fehler, ohne dass schon drei Hinweise auf den entscheidenden Dienst zeigen.

Danach darf die KI wieder helfen.

Sie muss nur auseinanderhalten können, was vor dieser Hilfe sichtbar war und was erst durch die gemeinsame Arbeit entstanden ist.

Vielleicht ist das eine brauchbare Definition für eine lernende Umgebung: Sie interessiert sich nicht nur dafür, wie gut wir gemeinsam eine Aufgabe lösen.

Sie interessiert sich auch für den Moment, in dem sie einmal nicht mitlösen muss.

AUF DIE WERKBANK

Auf die Werkbank: Gegenproben brauchen einen eigenen Modus

Für unser Agentensystem reicht damit kein Generator für Quizfragen. Es muss unterscheiden können, ob gerade gelernt, eine Vermutung überprüft oder eine folgenreiche Entscheidung vorbereitet wird. Diese drei Situationen dürfen dieselbe Aufgabe verwenden; sie bedeuten trotzdem nicht dasselbe.

Wenn das System eine Vermutung über selbstständiges Können überprüfen will, braucht die Gegenprobe einen klaren Bezug zu dieser Vermutung. Zu ihrem Ergebnis müssen die Bedingungen erhalten bleiben: Welche Fähigkeit sollte sichtbar werden? Welche Aufgabe wurde gestellt? War Hilfe vorgesehen, und wurde tatsächlich geholfen? Wie lange lag die Lernphase zurück? War die Aufgabe vertraut, variiert oder deutlich neu? Erst mit diesem Kontext lässt sich später sagen, was eine richtige oder falsche Antwort überhaupt bedeutet.

Sobald während einer Gegenprobe ein entscheidender Hinweis, ein Beispiel oder eine Erklärung nötig wird, ist die Probe nicht gescheitert. Sie ist wieder zur Lernphase geworden. Die nachfolgende richtige Antwort bleibt wertvoll – nur eben als Leistung nach Unterstützung. Soll das System anschließend erneut behaupten, etwas sei selbstständig verfügbar, braucht es dafür eine neue ungestützte Aufgabe. Verzögertes Behalten und Transfer müssen ebenfalls eigene Gegenproben erhalten; sie dürfen nicht aus einem unmittelbar gelungenen Versuch hochgerechnet werden.

Auch die Aufgabe selbst braucht einen Vertrauensstatus. Eine KI-generierte Frage ist zunächst eine erzeugte Aufgabe, kein automatisch valides Messinstrument. Für alltägliche Lernentscheidungen kann eine begründete, überprüfte Aufgabe völlig ausreichen. Je folgenreicher die Entscheidung wird, desto höher müssen die Anforderungen an Aufgabenqualität, Vergleichbarkeit und Fairness werden.

Und schließlich darf aus dieser Logik keine Testschleife entstehen. Das System sollte eine Gegenprobe einsetzen können, wenn eine wichtige Vermutung unsicher ist oder ein neuer Lernschritt davon abhängt. Es muss ebenso erkennen können, wann zuerst Wissen, ein Beispiel, Übung oder schlicht eine Pause hilfreicher ist.

Unsere Werkbank bekommt damit eine ziemlich konkrete Aufgabe: Das Agentensystem muss nicht nur Antworten und Hilfen verwalten. Es muss die Bedingungen seiner eigenen Evidenz mitführen.

Sonst weiß es am Ende sehr genau, dass eine Antwort richtig war – und erstaunlich wenig darüber, was diese Antwort eigentlich gezeigt hat.

QUELLEN / SPUREN

Quellen und Spuren

1. Henry L. Roediger III & Jeffrey D. Karpicke (2006): Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3), 249–255. DOI 10.1111/j.1467-9280.2006.01693.x. Zwei Experimente mit Prosatexten; bei einem Test nach fünf Minuten war wiederholtes Lernen günstiger, bei verzögerten Tests nach zwei Tagen bzw. einer Woche vorheriges Abrufen.
2. Pooja K. Agarwal, Ludmila D. Nunes & Janell R. Blunt (2021): Retrieval Practice Consistently Benefits Student Learning: a Systematic Review of Applied Research in Schools and Classrooms. Educational Psychology Review, 33, 1409–1453. DOI 10.1007/s10648-021-09595-9. Review von 50 Klassenraumexperimenten mit insgesamt 5.374 Lernenden; 57 % der kodierten Effekte waren mittel oder groß. Nur 6 % der Experimente stammten aus Nicht-WEIRD-Ländern.
3. Paul Black & Dylan Wiliam (1998): Assessment and Classroom Learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74. DOI 10.1080/0969595980050102. Klassischer Review zur formativen Beurteilung; entscheidend ist die Verwendung der gewonnenen Information für weitere Lehr- und Lernschritte.
4. American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014): Standards for Educational and Psychological Testing. Referenzrahmen zu Validität, Reliabilität/Präzision, Fairness und verantwortlicher Testverwendung. Für Folge 4 dient er der Abgrenzung zwischen lernbegleitender Gegenprobe und folgenreicher Prüfungsentscheidung.
5. Steven C. Pan & Timothy C. Rickard (2018): Transfer of Test-Enhanced Learning: Meta-Analytic Review and Synthesis. Psychological Bulletin, 144(7), 710–756. DOI 10.1037/bul0000151. 192 Transfereffektstärken aus 122 Experimenten, N = 10.382; mittlerer positiver Transfereffekt gegenüber Wiederexposition, zugleich deutliche Moderatoren und keine Garantie für beliebigen Ferntransfer.
6. Maria Janelli & Anastasiya A. Lipnevich (2021): Effects of pre-tests and feedback on performance outcomes and persistence in Massive Open Online Courses. Computers & Education, 161, 104076. DOI 10.1016/j.compedu.2020.104076. N = 399, randomisierte Zuweisung zu vier Bedingungen. Über alle Lernenden kein genereller Leistungsvorteil der Pretests; Pretests reduzierten die Persistenz. Positivere Ergebnisse unter den Kursabschließenden sind deshalb mit Selektionsvorsicht zu lesen.
7. Shaohang Liu et al. (2024): Effects of Test Anxiety on Self-Testing and Learning Performance. Educational Psychology Review, 36, 59. DOI 10.1007/s10648-024-09882-1. Fünf Studien zu Testangst, Stakes, freiwilliger Nutzung von Selbsttests und Lernleistung. Keine Grundlage für die pauschale Behauptung, niedrigschwellige Gegenproben seien für alle Lernenden belastend.
8. Andrew C. Butler & Henry L. Roediger III (2008): Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory & Cognition, 36(3), 604–616. DOI 10.3758/MC.36.3.604. Multiple-Choice-Distraktoren konnten später als falsche Antworten wieder auftauchen; sowohl unmittelbares als auch verzögertes Feedback reduzierte solche Intrusionen gegenüber einer Bedingung ohne Feedback.
9. Calvin Isley et al. (2026): Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study. Proceedings of the AAAI Conference on Artificial Intelligence, 40(45), 38626–38634. DOI 10.1609/aaai.v40i45.41205. Feldstudie in 91 Hochschulklassen mit knapp 1.700 Studierenden; iterativ erzeugte und überarbeitete KI-Fragen zeigten in der untersuchten Stichprobe auf IRT-Basis vergleichbare Eigenschaften wie fachlich erstellte Fragen für standardisierte Prüfungen. Das belegt weder automatische Validität beliebiger KI-Fragen noch Gleichwertigkeit für alle Prüfungszwecke.
10. Gavin Witsken, Igor Crk & Eren Gultepe (2025): LLMs in the Classroom: Outcomes and Perceptions of Questions Written with the Aid of AI. Proceedings of the AAAI Conference on Artificial Intelligence, 39(26), 27698–27705. DOI 10.1609/aaai.v39i26.34984. Studierende konnten KI-unterstützt und menschlich formulierte Fragen nicht zuverlässig unterscheiden; auf den KI-unterstützten Fragen lagen die Ergebnisse im Mittel knapp neun Prozent niedriger. Die Autoren nennen unter anderem Schwierigkeit und Vertrautheit mit dem Stil des Lehrenden als mögliche Erklärungen.
11. John Dunlosky & Katherine A. Rawson (2012): Overconfidence produces underachievement: Inaccurate self evaluations undermine students’ learning and retention. Learning and Instruction, 22(4), 271–280. DOI 10.1016/j.learninstruc.2011.08.003. Zwei Studien mit Definitionen; Überkonfidenz hing mit zu frühem Beenden des Lernens und schwächerem längerfristigem Behalten zusammen.
12. Jeffrey D. Karpicke (2009): Metacognitive control and strategy selection: deciding to practice retrieval during learning. Journal of Experimental Psychology: General, 138(4), 469–486. DOI 10.1037/a0017341. Vier Experimente zur selbstgesteuerten Abrufpraxis bei Fremdsprachenmaterial; relevant für die Frage, wann Lernende weiteres Abrufen selbst beenden.

WEITER · FOLGE 5

Wie anders muss die nächste Aufgabe sein?

Eine Gegenprobe soll nicht bloß Wiedererkennen messen. Wird sie jedoch zu fremd, prüft sie womöglich etwas anderes. Damit führt Folge 4 zurück zu einer Spur aus dem Auftakt: Üben als „Wiederholen ohne Wiederholung“. Die nächste Etappe kann genauer untersuchen, was Variation und Transfer miteinander zu tun haben – und wo eine neue Aufgabe wirklich neues Können sichtbar macht.