Nach Folge 8 haben wir gewartet. Nicht möglichst lange, nicht nach einem magischen Kalender, sondern lange genug, damit ein späterer Abruf überhaupt etwas anderes zeigen kann als die Erinnerung an die letzte Übung.
Nun kommt der erfreuliche Moment: Die Antwort stimmt.
Damit wäre die Sache eigentlich erledigt.
Ich kann es.
Das ist ein bemerkenswert kurzer Satz für eine ziemlich große Behauptung.
Denn vielleicht konnte ich es mit Hilfe. Vielleicht konnte ich es fünf Minuten später allein. Vielleicht kann ich es nächste Woche noch. Vielleicht erkenne ich das Prinzip auch dann, wenn die Aufgabe anders aussieht. Und vielleicht kann ich all das im Seminarraum, während mir im echten Störungsfall drei Kollegen mitteilen, dass „seit deiner Änderung alles kaputt ist".
„Kann ich" hat offenbar mehrere Stockwerke.
Der Erfolg, den wir gerade gesehen haben
Die Lernforschung macht an dieser Stelle eine unbequeme Unterscheidung: Leistung während des Lernens und Lernen sind nicht dasselbe.[1]
Das klingt zunächst nach Wortklauberei. Praktisch ist es entscheidend.
Wenn mir eine KI Schritt für Schritt erklärt, welche Logzeile relevant ist, und ich anschließend die richtige Ursache anklicke, haben wir etwas beobachtet: Mensch und System haben die Aufgabe gemeinsam gelöst.
Das ist ein Erfolg.
Nur eben noch kein Nachweis dafür, dass ich dieselbe diagnostische Bewegung allein ausführen kann.
Für unsere Serie verwenden wir deshalb seit einiger Zeit vier Kürzel: AP für assistierte Performanz, II für unmittelbare unabhängige Leistung, DR für verzögerte Retention und TR für Transfer.
Wichtig ist die Fußnote, bevor aus vier Buchstaben eine neue pädagogische Heilslehre wird: Das ist unser redaktionelles Prüfraster, keine etablierte wissenschaftliche Vier-Stufen-Taxonomie.
Es zwingt uns lediglich, genauer zu sagen, was wir gesehen haben.
Hilfe weg: jetzt sofort
Die einfachste Gegenprobe besteht darin, die Hilfe zu entfernen.
Eine neue Aufgabe, keine eingeblendete Lösung, kein freundliches „Soll ich dir einen Hinweis geben?".
Wenn sie gelingt, wissen wir mehr. Der Lernende kann eine entsprechende Leistung jetzt selbständig zeigen.
Aber auch dieses „jetzt" ist wichtig.
Eine unmittelbare unabhängige Aufgabe kann noch stark von der eben erfolgten Bearbeitung profitieren. Das macht sie nicht wertlos. Sie beantwortet nur eine engere Frage als ein Test Tage oder Wochen später.
Genau deshalb war F8 nötig.
Zeit verändert den Anspruch.
Wenn ich dieselbe Art von Wissen später noch ohne Hilfe abrufen kann, haben wir Evidenz für Behalten unter diesen Bedingungen. Wir haben damit noch nicht bewiesen, dass ich in jeder denkbaren Situation kompetent bin.
Der Fortschrittsbalken muss schon wieder einen Teil seiner Begeisterung zurückgeben.
Und jetzt machen wir die Aufgabe einfach anders
An diesem Punkt taucht gewöhnlich das Wort „Transfer" auf.
Man hat etwas gelernt und kann es auf etwas Neues übertragen. Sehr schön. Leider besitzt auch „neu" beträchtlichen Interpretationsspielraum.
Barnett und Ceci haben Transfer deshalb nicht einfach als Linie von „nah" bis „fern" behandelt, sondern verschiedene Dimensionen unterschieden: Was verändert sich am Wissen, am physischen oder sozialen Kontext, am Zeitpunkt, an der Funktion der Aufgabe?[2]
Das ist hilfreich, weil eine Aufgabe auf einer Dimension sehr ähnlich und auf einer anderen erheblich verändert sein kann.
Ein Netzwerkfehler mit anderem Hostnamen ist kaum eine revolutionär neue Situation. Derselbe diagnostische Grundgedanke bei einer unbekannten Architektur kann wesentlich mehr verlangen.
Auch ein französischer Dialog über das Wetter ist nicht automatisch „Ferntransfer", nur weil gestern über das Essen gesprochen wurde.
Der Franzose bleibt schwierig. Nun allerdings aus methodischen Gründen.
Prüfungen prüfen -- und verändern
Noch etwas macht unsere schöne Messkette komplizierter: Ein Test misst Lernen nicht nur. Er kann selbst Lernen erzeugen.
Wiederholter Abruf kann spätere Leistung und unter bestimmten Bedingungen auch die Bearbeitung neuer Inferenzfragen verbessern.[4]
Das ist eigentlich erfreulich. Nur wird der Prüfer dadurch zum Beteiligten.
Wenn wir nach einem Test bessere Leistung sehen, kann ein Teil dieser Verbesserung gerade durch den Test entstanden sein. Das Messinstrument hat am Gegenstand mitgearbeitet.
Für unser späteres KI-Lernsystem ist das keine Katastrophe. Im Gegenteil: Es darf Prüfungen als Lerngelegenheiten nutzen.
Es muss nur aufhören, so zu tun, als seien seine Messungen unsichtbare Thermometer.
IT: Der Server liest unser Curriculum nicht
Nehmen wir Troubleshooting.
Mit KI findet ein Lernender einen Fehler. AP.
Anschließend bekommt er einen anderen Bug und muss ohne Lösungshinweis Hypothesen bilden und Logs prüfen. II.
Einige Wochen später tritt ein ähnliches Prinzip in einem anderen Dienst und einem anderen Logformat auf. Nun beobachten wir verzögerte Leistung und eine konkrete Form von Generalisierung.
Und irgendwann steht er vor einem echten Incident.
Spätestens dort mischen sich Dinge ein, die unser Lernsystem nicht vollständig kontrolliert: Zeitdruck, Rechte, Teamkommunikation, Sicherheitsregeln, unvollständige Informationen und die gelegentliche Besonderheit, dass ein Produktionssystem sich weigert, didaktisch sinnvoll zu versagen.
Trainingstransfer hängt deshalb nicht nur am Training. Auch Arbeitsumgebung und Gelegenheit zur Anwendung spielen eine Rolle.[3]
Wir dürfen also nicht aus einer gelungenen Simulation „berufliche Handlungssicherheit" machen.
Aber wir können bessere Fragen stellen.
Prüfung: bestanden ist ein präziserer Satz, als er klingt
Bei Fachwissen lässt sich die Kette sauberer bauen.
Eine Lernende bearbeitet Aufgaben zunächst mit Hinweisen. Später löst sie neue Aufgaben ohne Hilfe. Nach einigen Tagen oder Wochen prüfen wir erneut. Schließlich verändern wir Format oder Anforderung so, dass nicht bloß dieselbe Antwort wiedererkannt werden muss.
Das ergibt keinen metaphysischen Beweis von Kompetenz.
Aber es erzeugt zunehmend stärkere Evidenz für zunehmend genauer bezeichnete Behauptungen.
Und genau das ist vermutlich die wichtigste Lektion dieser Folge: Nicht der Test allein entscheidet über die Stärke eines Kompetenzclaims. Entscheidend ist, welchen Claim der Test überhaupt tragen kann.
Wer Multiple Choice zuverlässig löst, hat Multiple Choice zuverlässig gelöst.
Vielleicht steckt dahinter sehr gutes Wissen.
Vielleicht halfen die Antwortoptionen erheblich.
Die nächste Probe entscheidet, wie weit wir gehen dürfen.
Fremdsprache: Bonjour ohne Stützräder
Auch hier ist die Versuchung groß, kleine Erfolge großzügig umzubuchen.
Ein Wort erkennen. Ein Wort frei produzieren. Einen vorbereiteten Satz sprechen. Auf eine unerwartete Frage reagieren. Ein Gespräch mit einem fremden Gegenüber führen.
Das sind verwandte Leistungen. Sie sind nicht identisch.
Wenn unser KI-Tutor nach hundert korrekten Vokabelantworten meldet „Französisch beherrscht", hat er vor allem eine interessante Vorstellung von Frankreich.
Ein belastbareres System müsste seine Aussage enger machen:
Diese Wörter wurden unter diesen Bedingungen korrekt abgerufen.
Oder:
In diesem Gespräch konnte der Lernende ohne Satzvorgabe auf neue Fragen reagieren.
Das klingt weniger triumphal.
Dafür weiß man anschließend, was gemeint ist.
Muss eine Prüfung ohne KI stattfinden?
Hier kommt eine unangenehme Gegenfrage.
Wenn Menschen später bei ihrer Arbeit selbstverständlich Werkzeuge verwenden dürfen -- Dokumentation, Suchmaschinen, Taschenrechner oder KI --, warum sollten wir Kompetenz immer ohne Werkzeug prüfen?
Die Antwort lautet: sollten wir nicht.
Ohne KI ist genau dann wichtig, wenn wir Eigenleistung ohne KI behaupten wollen.
Wenn die berufliche Kompetenz dagegen darin besteht, mit einem KI-System sicher und wirksam zu arbeiten, müssen wir auch diese gemeinsame Leistung prüfen.
Das führt zu zwei verschiedenen Fragen:
Was kann der Mensch allein?
Und was kann Mensch plus Werkzeug zuverlässig leisten?
Beides kann wichtig sein. Das eine darf nur nicht als das andere verkauft werden.
Damit bekommt unser AP/II/DR/TR-Raster eine weitere nützliche Eigenschaft: Es ist kein moralisches Stufenmodell. Assistierte Leistung ist nicht minderwertig. Sie beantwortet nur eine andere Frage.
Ein Fortschrittsbalken mit Quellenangabe
Was müsste nun eine lernende KI anzeigen?
Vielleicht nicht einfach:
Kompetenz: 83 %.
Sondern eher:
Heute ohne Hilfe gelöst.
Nach 21 Tagen noch nicht geprüft.
Übertragung auf veränderten Kontext: offen.
Das ist weniger dekorativ. Dafür wäre der Fortschrittsbalken plötzlich epistemisch erstaunlich erwachsen.
Für die spätere Hobbythek entsteht damit eine klare Bauaufgabe: Ein System müsste nicht nur Ergebnisse speichern. Es müsste auch die Bedingungen der Beobachtung mitführen -- Hilfegrad, Zeitpunkt, Aufgabenvariation und relevantes Werkzeug.
Sonst wird aus Datenmenge keine bessere Diagnose. Nur eine größere Datenmenge.
Und wenn ich selbst längst weiß, dass ich es kann?
Damit sind wir bei der nächsten Schwierigkeit.
Vielleicht brauchen wir diese ganze Prüferei gar nicht. Menschen besitzen schließlich ein Gefühl dafür, was sie können.
Ich lese eine Erklärung und denke: klar.
Ich sehe eine Lösung und denke: genau so hätte ich es auch gemacht.
Ich spreche einen Satz und denke: läuft.
Manchmal stimmt dieses Gefühl ausgezeichnet.
Manchmal hat das Gedächtnis allerdings einen kleinen Vorteil: Es kennt die Lösung bereits, während wir beurteilen sollen, ob wir sie später selbst erzeugen könnten.
Damit verschiebt sich unsere Reise von der Prüfung zur Selbsteinschätzung.
Muss ich wissen, dass ich etwas nicht kann?
Auf die Werkbank: Was genau behauptet der Fortschrittsbalken?
Für ein späteres Lernsystem reicht „geschafft“ nicht. Wir würden bei einer Probe sichtbar festhalten, unter welchen Bedingungen sie gelungen ist: mit oder ohne Hilfe, sofort oder nach Abstand, bei einer ähnlichen oder veränderten Aufgabe und mit welchen Werkzeugen.
Dann bauen wir absichtlich Gegenproben. Eine Aufgabe wird nur umformuliert. Eine zweite verändert das Fehlerbild. Eine dritte lässt ein erlaubtes Werkzeug zu. Eine vierte nicht.
Die Werkbankfrage lautet nicht: Wie hoch ist der Kompetenzwert?
Sondern: Welche Beobachtung trägt welchen Kompetenzclaim – und welche Beobachtung würde ihn wieder kleiner machen?
Ein Fortschrittsbalken dürfte danach immer noch hübsch aussehen. Er müsste nur lernen, vollständige Sätze zu sprechen.
Quellen und Spuren
- Soderstrom & Bjork (2015): Learning versus performance: An integrative review. Perspectives on Psychological Science. DOI 10.1177/1745691615569000.
- Barnett & Ceci (2002): When and where do we apply what we learn? A taxonomy for far transfer. Psychological Bulletin. DOI 10.1037/0033-2909.128.4.612.
- Baldwin & Ford (1988): Transfer of training: A review and directions for future research. Personnel Psychology. DOI 10.1111/j.1744-6570.1988.tb00632.x.
- Butler (2010): Repeated testing produces superior transfer of learning relative to repeated studying. Journal of Experimental Psychology: Learning, Memory, and Cognition. DOI 10.1037/a0019902.
- Simons et al. (2016): Do "brain-training" programs work? Psychological Science in the Public Interest. DOI 10.1177/1529100616661983.
- Ogata et al. (2020): Characteristics of Skilled and Unskilled System Engineers in Troubleshooting for Network Systems. IEEE Access. DOI 10.1109/ACCESS.2020.2990911.