Woher soll die KI wissen, was ich kann?

Es reicht manchmal eine einzige falsche Antwort, und schon hält einen ein Lernsystem für ahnungslos. Das Gegenteil geht ähnlich schnell: zwei richtige Antworten, ein souveräner Fachbegriff – und plötzlich bekommt man Aufgaben serviert, als hätte man das Thema seit Jahren im Griff.

Bei einem Menschen würde man sagen: Er hat mich falsch eingeschätzt. Bei künstlicher Intelligenz klingt dasselbe eleganter. Dann heißt es Personalisierung.

In Folge 2 war die Forderung noch angenehm plausibel: Eine Lern-KI sollte merken, wann jemand bereits selbst denkt, wann eine Erklärung nötig ist und wann ein kleiner Hinweis reicht. Nur steckt darin eine Voraussetzung, die ich großzügig übergangen hatte.

Woher soll die KI eigentlich wissen, was ich kann?

Sie sieht keine Kompetenz

Ein Lernsystem sieht Antworten, Bearbeitungsspuren und vielleicht meinen Dialog. Was es nicht direkt sehen kann, ist mein Wissen.

In der Forschung heißen solche Schätzungen Learner Models, also Modelle des Lernenden. Knowledge Tracing ist eine Familie von Verfahren, die aus bisherigen Antworten ableiten soll, wie sich ein Lernstand entwickelt. Häufig wird zunächst geprüft, ob das Modell die nächste richtige oder falsche Antwort vorhersagen kann.[1]

Das klingt nach einem kleinen Unterschied. Tatsächlich ist es der Unterschied zwischen Wetterbericht und Wetter.

Ein verbreitetes Verfahren heißt Bayesian Knowledge Tracing. Es rechnet mit einem Wissenszustand, den man nicht direkt sehen kann, und berücksichtigt unter anderem, dass Menschen trotz Wissen Fehler machen oder ohne Wissen richtig raten können. Am Ende steht eine Zahl - aber diese Zahl ist eine Schätzung unter Modellannahmen, kein Messgerät im Kopf.[2] Eine neuere methodische Arbeit zeigt sogar: Das Modell mit der besten Vorhersage kommender Antworten muss nicht zugleich den angenommenen Wissenszustand am zuverlässigsten abbilden.[2]

Hinzu kommt ein unscheinbarer Trick, den Modelle lernen können: Manche Aufgaben werden von vielen Menschen häufig richtig oder häufig falsch beantwortet. Ein Knowledge-Tracing-System kann solche Aufgabeneigenschaften teilweise als Abkürzung nutzen, ohne dadurch den einzelnen Lernenden besser verstanden zu haben.[3]

Ein System kann also in seinem Prognosespiel ordentlich sein und trotzdem eine andere Frage beantworten als die, die mich interessiert.

Die nächste Antwort ist nicht der ganze Mensch

Mit großen Sprachmodellen wird es reizvoller, weil nicht mehr nur richtig oder falsch ausgewertet werden kann. Ein LLM kann den Dialog lesen.

In einer Studie mit Mathematik-Tutoring nutzte ein LLM-basiertes Lernermodell den Gesprächstext, um abzuschätzen, ob der nächste Lernschritt richtig oder falsch sein würde. Bei realen Khanmigo-Dialogen enthielt der Text tatsächlich ein brauchbares Vorhersagesignal; in einem zweiten Datensatz mit simulierten Lernenden fiel die Trennung noch besser aus.[4]

Solche Kennzahlen sagen zunächst: Das Modell erkennt in den bisherigen Spuren ein Signal. Sie sagen nicht: Es hat einen bestimmten Prozentsatz meines Wissens verstanden.

Das ist nützlich, aber kein Wissenspass. Schon die Dialoge zeigen das Problem: Jemand kann einen Aspekt beherrschen und wenige Gesprächszüge später an einem neu eingeführten Skill scheitern.[4]

Das kommt mir aus der IT bekannt vor. Jahrzehnte Erfahrung schützen zuverlässig davor, Anfänger in allem zu sein. Sie schützen weniger zuverlässig davor, Anfänger in genau der Bibliothek zu sein, die gestern erschienen ist.

Ein Fehler hat mehrere Geschichten

Noch schwieriger wird es, wenn die KI nicht nur vorhersagen, sondern erklären soll, warum ich falsch liege. Eine falsche Antwort kann fehlendes Wissen bedeuten, einen Rechenfehler, ein Missverständnis, einen Tippfehler oder eine falsche Teilannahme. Gelegentlich weiß man die Sache sogar und produziert trotzdem Unsinn – ein Verfahren, das in Prüfungen seit Jahrhunderten stabil funktioniert.

Bei mehrschrittigen Mathematiklösungen können LLM-Tutoren fehlerhafte Stellen teilweise lokalisieren und danach gezielter reagieren. Die Qualität des Feedbacks hängt allerdings stark davon ab, ob die Fehlerdiagnose selbst stimmt.[5]

Eine andere, noch nicht begutachtete Untersuchung ließ 16 Sprachmodelle aus handschriftlichen Schülerlösungen kognitive Fertigkeiten diagnostizieren. Gerade bei dieser feineren Einordnung wurden die Grenzen deutlich: Eine auf den ersten Blick ordentliche Gesamtgenauigkeit verdeckte viele Fehlzuordnungen; in einer Kennzahl, die Treffer und Fehlklassifikationen gemeinsam berücksichtigt, blieb jedes getestete Modell schwach.[6] OCR-Probleme, mehrdeutige Lösungsspuren und überinterpretierte Denkprozesse gehörten zu den Fehlerquellen.

Auch konkrete Fehlvorstellungen lassen sich eingrenzen, aber enger, als das Wort „Diagnose“ vermuten lässt. In einer Studie mit 922 Mathematikdialogen sollte ein System in einem Katalog von 546 möglichen Fehlvorstellungen passende Kandidaten finden. Referenz waren Tutorurteile - nicht ein direkter Zugang zur Ursache im Kopf des Lernenden.[7]

Die KI kann Hypothesen bilden. Gedankenlesen bleibt vorerst anderweitig vergeben.

Im Durchschnitt gut kann für mich falsch heißen

Ein Modell kann insgesamt ordentlich aussehen und bei bestimmten Gruppen systematisch danebenliegen.

Eine 2026 veröffentlichte Untersuchung verglich sechs Knowledge-Tracing-Modelle mit mehr als 20.000 Lernenden und Millionen von Interaktionen. Im Gesamtdurchschnitt wirkten die Modelle gut kalibriert: Ihre vorhergesagten Wahrscheinlichkeiten passten insgesamt recht ordentlich zu den später beobachteten Antworten. Bei leistungsschwächeren Lernenden waren sie dennoch systematisch zu optimistisch, bei leistungsstärkeren zu pessimistisch. Sobald aus diesen Zahlen eine Entscheidung wie „beherrscht - weiter zum nächsten Thema“ simuliert wurde, entstanden bei der schwächeren Gruppe relevante Fehlentscheidungen.[8]

Der Durchschnitt kann also stimmen und die einzelne Person trotzdem falsch eingeschätzt werden.

Am Anfang hat die KI nur ein paar Spuren

Die freundlichste Situation für ein Lernermodell ist eine lange Vorgeschichte. Neue Lernende liefern das Gegenteil.

Besonders schwierig ist der Anfang, wenn das System über eine neue Person erst wenige Antworten kennt. Die Forschung nennt das Cold Start - die Startphase mit sehr wenig persönlicher Lernhistorie. In Experimenten waren die Vorhersagen nach nur wenigen bisherigen Aufgaben deutlich instabiler; mit mehr Beobachtungen wurden sie in manchen Bedingungen wesentlich besser.[9]

Daraus folgt keine allgemeine Zahl dafür, wie lange eine KI mich kennenlernen muss. Wohl aber eine einfache Erinnerung für den ersten Chat: Sie hat noch kein belastbares Profil. Sie hat ein paar Spuren.

Darf ich meinem Modell widersprechen?

Eine interessante Forschungsrichtung macht Lernermodelle deshalb sichtbar. In offenen oder verhandelbaren Modellen können Lernende sehen, was das System über ihre Kenntnisse annimmt, und widersprechen. Frühere Arbeiten zeigen, dass Menschen absichtlich eingebaute Fehler in solchen Profilen durchaus entdecken und korrigieren können.[10]

Das ist keine Wunderlösung. Menschen schätzen sich selbst ebenfalls falsch ein, und die Studienbasis für dauerhafte Lernvorteile ist klein.[10] Trotzdem hat die Idee Charme: Wenn eine KI ihre Hilfe davon abhängig macht, was sie über mich zu wissen glaubt, sollte dieses Wissen vielleicht keine geheime Personalakte sein.

Sie könnte sagen: „Ich vermute, dass du X beherrschst, weil du A und B gelöst hast. Bei Y bin ich unsicher.“ Ich könnte widersprechen – und das System könnte eine neue Aufgabe stellen, statt den Streit rhetorisch zu gewinnen.

Denn darüber reden, was man kann, und etwas tatsächlich können, sind seit Folge 1 zwei verschiedene Dinge.

Personalisierung ist noch kein Lernerfolg

Dazu passt ein Feldstudienbefund aus einem Online-Programmierkurs mit 357 Teilnehmenden. Das eingesetzte Knowledge Tracing konnte aus bisherigen Übungsdaten kommende Antworten mit mäßiger Trennschärfe prognostizieren; daran wurden adaptive Empfehlungen und ein begrenzter LLM-Tutor gekoppelt.[11]

Die Teilnehmenden bearbeiteten mehr formative Aufgaben und waren dort häufiger korrekt. Im anschließenden, für Unterschiede zu Beginn bereinigten Abschlusstest lag die adaptive Gruppe zwar numerisch etwas höher. Die statistische Unsicherheit war jedoch so groß, dass die Studie keinen gesicherten Vorteil im primären selbstständigen Test nachweisen konnte.[11]

Das beweist weder Wirkungslosigkeit noch die Wirkung eines einzelnen Moduls. Es hält nur unsere Messregel sauber: Eine brauchbare Diagnose, mehr Übung und bessere Leistung während des Übens sind noch nicht dasselbe wie nachgewiesenes selbstständiges Lernen.

Ein Lernermodell sollte sich irren dürfen

Nach drei Folgen wird mein Wunschzettel an eine Lern-KI etwas unbequemer. Sie soll helfen können, ohne mir jeden Denkprozess abzunehmen. Dafür muss sie einschätzen, wann ich Hilfe brauche. Und nun stellt sich heraus, dass auch diese Einschätzung nur auf Spuren beruht.

Vielleicht wäre ein gutes Lernermodell deshalb keines, das besonders selbstbewusst behauptet, mich zu kennen. Es müsste zeigen können, worauf seine Vermutung beruht, Unsicherheit kenntlich machen und sich korrigieren lassen. Das ist eine aus der Forschung abgeleitete Gestaltungsregel, kein experimentell bestätigtes Universalrezept.[10]

Die interessante Frage lautet damit nicht mehr: Wie gut kennt mich die KI? Sondern: Welche Beobachtungen stützen ihre Vermutung - und wie könnte sie herausfinden, dass sie falsch liegt?