Wie anders muss die nächste Aufgabe sein?

Am Ende von Folge 4 schien die Sache zunächst klar: Wenn eine Lern-KI behaupten möchte, dass ich etwas selbst kann, braucht sie gelegentlich eine Gegenprobe. Nicht noch einmal dieselbe Aufgabe mit drei eingebauten Hinweisen, sondern eine neue Aufgabe ohne Hilfe.

Das klingt vernünftig, bis man „neu“ genauer bestimmen will. Ist dieselbe DNS-Störung mit einem anderen Hostnamen schon Transfer? Dieselbe französische Regel in einem neuen Wort? Eine Prüfungsfrage mit gleicher Struktur, aber anderen Zahlen?

Bleibt die Aufgabe zu ähnlich, erkenne ich womöglich nur das alte Muster wieder. Wird sie zu verschieden, verlangen wir vielleicht schon etwas anderes. Dazwischen liegt genau jener Teil des Lernens, der uns seit Folge 0 interessiert: etwas unter veränderten Bedingungen erneut hervorbringen zu können.

Was soll eigentlich gleich bleiben?

Vielleicht ist deshalb nicht „Wie anders ist die Aufgabe?“ die beste erste Frage, sondern: Was soll trotz der Veränderung gleich bleiben?

Bei einer Rechenaufgabe kann das zugrunde liegende Verfahren gleich bleiben, während Zahlen und Oberfläche wechseln. Eine Fallfrage kann dieselbe fachliche Unterscheidung in einem anderen Kontext verlangen. Bei einer technischen Störung kann dieselbe Diagnoseidee hinter einem anderen Symptom stecken. Und beim Französisch taucht dieselbe sprachliche Regel vielleicht plötzlich in einem Satz auf, den ich noch nie gesehen habe.

Erst wenn klar ist, was konstant bleiben soll, lässt sich sinnvoll darüber sprechen, was variiert werden darf.

Das klingt weniger spektakulär als „Transfer“. Es verhindert aber einen ziemlich verbreiteten Trick: Man verändert die Aufgabe stark, nennt das Ergebnis anschließend Transfer und übersieht, dass inzwischen andere Voraussetzungen nötig sind.

Eine neue Aufgabe ist also kein Echtheitssiegel. Wir müssen sagen können, in welcher Hinsicht sie neu ist.

Wiederholen, ohne einfach zu kopieren

In Folge 0 tauchte dazu eine Formulierung aus der Bewegungsforschung auf: „Wiederholen ohne Wiederholung“.

Sie wird Nikolai Bernstein zugeschrieben. Der ursprüngliche Zusammenhang ist allerdings enger, als die schöne Formel vermuten lässt.

Bernstein beschrieb motorische Koordination. Bei einer Bewegung verändern sich Körperzustand, Kräfte und Umgebungsbedingungen von Versuch zu Versuch. Die Aufgabe kann dieselbe bleiben, ohne dass der Organismus jedes Mal exakt dieselben Mittel benutzt. In späteren Darstellungen wird der Unterschied entsprechend als erneutes Lösen einer Bewegungsaufgabe beschrieben, nicht als mechanisches Wiederholen derselben Ausführung.[1]

Für unsere Lernwelt ist das ein reizvolles Bild – zunächst aber auch nicht mehr.

Bernstein hat damit nicht gezeigt, dass Sprachlernen, Prüfungsvorbereitung oder Netzwerktroubleshooting besser funktionieren, wenn eine KI ständig neue Varianten erzeugt. Diese Übertragung wäre eine Hypothese.

Gerade deshalb lohnt sich der Umweg. Denn in der kognitiven Lernforschung findet man ähnliche Fragen – und deutlich weniger romantische Antworten.

Zwei Beispiele können mehr zeigen als eines

Eine Spur führt über Analogien.

Wenn zwei Fälle oberflächlich verschieden sind, aber dieselbe Struktur haben, kann ihr Vergleich helfen, diese Struktur überhaupt zu erkennen.

Gick und Holyoak zeigten in klassischen Experimenten, dass ein abstrahiertes Schema späteren analogen Transfer unterstützen kann.[2] Gentner und Kollegen fanden Ähnliches bei Novizen, die Verhandlungsfälle miteinander verglichen.[3]

Das spricht dafür, nicht immer nur ein einziges Muster zu wiederholen. Mehr Varianten sind deshalb aber noch lange nicht automatisch besser.

Bei durchgearbeiteten Beispielen fanden Renkl und Kollegen keinen einfachen Vorteil zusätzlicher Varianten: Der erwartete Transfergewinn multipler Beispiele wurde nicht bestätigt, während gezielt angeregte Selbsterklärungen nützlich waren.[4] Andere Arbeiten zeigen Vorteile hoher Variation gerade dann, wenn die Lösungsstruktur bereits durch worked examples getragen wird.[5]

Variation bekommt ihren Wert also nicht dadurch, dass sie bloß vorhanden ist. Sie muss etwas sichtbar machen, das der Lernende überhaupt erkennen kann. Wer die Regel noch nicht sieht, profitiert nicht zwingend davon, wenn wir die Kulisse schneller wechseln.

Mischen kann helfen – manchmal

Noch bekannter ist die Forschung zu Interleaving.

Dabei werden verschiedene Kategorien oder Aufgabentypen gemischt, statt erst viele Beispiele von Typ A, dann viele von Typ B und anschließend Typ C zu bearbeiten.

In der Motorik ist dieser Gedanke mit dem sogenannten Contextual-Interference-Effekt verbunden. Der klassische Versuch von Shea und Morgan zeigte, dass zufälliger gemischte Übung während des Trainings zunächst schlechter aussehen kann, später aber Vorteile bei Behalten und Übertragung zeigen kann.[6]

Nur ist das eben Motorik.

Neuere Meta-Analysen zeigen dort außerdem ein deutlich unruhigeres Bild: Im Mittel finden sich Vorteile, aber mit hoher Heterogenität; bei angewandten Aufgaben oder bestimmten Gruppen verschwinden sie teilweise.[7][8]

Bei kognitiven Kategorien sieht es ebenfalls differenziert aus.

Brunmair und Richter fanden in einer Meta-Analyse Vorteile von Interleaving vor allem dann, wenn Kategorien einander ähnlich waren und Lernende deshalb lernen mussten, zwischen ihnen zu unterscheiden.[9] Ein großer klassenrandomisierter Mathematikversuch zeigte ebenfalls Vorteile stärker gemischter Praxis bei einem späteren unangekündigten Test.[10]

Für unsere Lernwelt steckt darin ein wichtiger Unterschied: Manchmal besteht die eigentliche Lernleistung nicht mehr nur darin, eine Regel auszuführen, sondern zuerst zu erkennen, welche Regel überhaupt passt. Dann ist Mischen keine Schikane, sondern Teil der Aufgabe.

Und dann kommt Französisch und ruiniert die schöne Regel

Zum Glück gibt es Gegenbefunde. Bei englischsprachigen Lernenden, die französische Ausspracheregeln aus Schriftbildern lernten, schnitt geblockte Praxis in vier Experimenten besser ab als gemischte Praxis.[11]

Das ist ein nützlicher Störenfried, denn nun lässt sich nicht einfach schreiben: „Interleaving ist besser.“ Mischen dürfte besonders dann interessant werden, wenn die Unterscheidung zwischen ähnlichen Kategorien selbst zum Lernziel gehört. Eine neue Regel kann dagegen zunächst von mehreren ähnlichen Fällen profitieren; wie sinnvoll die Reihenfolge ist, dürfte außerdem vom Vorwissen abhängen.

Eine kleine neuere Studie zum französischen Pronomen y zeigt genau diese Art von Zielkonflikt: Geblocktes Üben begünstigte eher Flüssigkeit, Interleaving eher Genauigkeit im Posttest.[12] Aus der vermeintlich besten Methode wird damit eine Frage danach, was eigentlich besser werden soll.

Ähnlichkeit ist nicht der Feind

Noch eine Forschungstradition bremst die Begeisterung für immer neue Varianten.

Encoding Specificity und Transfer-Appropriate Processing weisen darauf hin, dass Lernen besonders gut trägt, wenn die Art der Verarbeitung beim Üben zur späteren Zielaufgabe passt.[13][14]

Das klingt zunächst fast wie das Gegenteil von Variation, beschreibt aber eher eine zweite Bedingung: Übung muss auch zur späteren Zielanforderung passen.

Wenn mein Ziel eine Microsoft-Zertifizierungsprüfung ist, darf ich das Prüfungsformat üben. Wenn eine konkrete Bewegung unter stabilen Bedingungen funktionieren soll, kann konstantes Üben sinnvoll sein. Und wenn ich eine bestimmte sprachliche Form automatisieren möchte, ist Ähnlichkeit nicht automatisch ein Fehler.

Problematisch wird es erst, wenn wir aus einem engen Zielerfolg ein breiteres Können ableiten.

Wer exakt das geübte Prüfungsformat beherrscht, kann sehr gut auf genau dieses Format vorbereitet sein.

Das ist ein Erfolg, nur eben noch nicht dasselbe wie flexible Anwendung außerhalb dieses Formats.

Variation ist nicht dasselbe wie Transfer

Hier hilft eine Unterscheidung, die erstaunlich schnell verloren geht: Variation beim Üben ist eine Sache, die Distanz der späteren Gegenprobe eine andere. Ich kann sehr abwechslungsreich üben und anschließend eine fast identische Aufgabe bekommen – oder sehr konstant üben und später eine deutlich veränderte. Das sind unterschiedliche Versuchsanordnungen.

Für unsere Serie ist das wichtig, weil wir sonst zwei Dinge vermischen: Wie gestalten wir die Lernphase? Und wie prüfen wir anschließend, was unter veränderten Bedingungen verfügbar ist?

In Folge 4 hatten wir bereits getrennt, was mit Hilfe gelingt, was unmittelbar ohne Hilfe gelingt, was später noch verfügbar ist und was sich übertragen lässt.

Folge 5 fügt deshalb eine weitere Frage hinzu: Was genau wurde zwischen Übung und Gegenprobe verändert?

Eine Gegenprobe ist eine Stichprobe

Außerdem sollten wir uns von der Idee verabschieden, dass eine einzige neue Aufgabe eine Fähigkeit endgültig enthüllt.

In der Testtheorie gibt es dafür einen nüchternen Gedanken: Eine beobachtete Leistung hängt nicht nur von der Person ab, sondern auch von Aufgabe und Situation.

Wenn ich aus einer einzelnen Aufgabe auf ein breites Können schließen möchte, muss diese Aufgabe für einen größeren Bereich stehen können.

Die Generalisierbarkeitstheorie (Generalizability Theory) behandelt genau solche Fragen: Wie stark beeinflussen unterschiedliche Aufgaben, Situationen oder Beurteiler das beobachtete Ergebnis, und für welches „Universum“ von Aufgaben soll eine Stichprobe gelten?[15]

Für unsere Hobbythek-Abteilung ist das ausgesprochen praktisch: Mehrere sorgfältig gewählte Aufgaben können einen breiteren Anspruch besser tragen als eine einzige. Zehn Varianten derselben Schablone machen aus einer engen Schablone dagegen noch keinen großen Kompetenzraum.

Medizinische Prüfungsforschung zeigt, wie leicht eine einzelne Fallleistung zu viel verspricht. In einer Untersuchung mit 350 Medizinstudierenden ließen sich sowohl fallabhängige als auch über Fälle hinweg generalisierbare Leistungsanteile nachweisen; beide spielten eine relevante Rolle.[16]

Daraus folgt keine fertige Zahl dafür, wie viele Fälle eine Lern-KI braucht. Es warnt lediglich vor der Vorstellung, eine einzige gelungene Gegenprobe könne das gesamte Lernermodell adeln.

Was heißt das für unsere drei Baustellen?

Beim IT-Troubleshooting wird es schnell anschaulich. Ein Tutorial zeigt: DNS-Auflösung fehlt. Die enge Gegenprobe wäre derselbe Fehler mit fast identischer Oberfläche. Eine stärkere könnte dasselbe Ursachenprinzip unter verändertem Symptom oder verändertem Systemzustand verlangen. Reale Fehlersuche wäre noch einmal etwas anderes: mehrere plausible Ursachen, Berechtigungen, Risiken, Zeitdruck und unvollständige Informationen.

Für genau diese Art von Variation bei Netzwerk- oder Softwarefehlern ist die direkte kontrollierte Forschung dünn. Es gibt gute Studien zu technischer Fehlersuche etwa an elektrischen Schaltkreisen, in denen worked examples auch spätere Transferaufgaben unterstützen konnten.[17] Aber daraus folgt nicht, dass wir die optimale Mischung von Logfiles und Produktionsstörungen bereits kennen.

Beim Prüfungslernen ist der Zielraum klarer. Wer auf ein bestimmtes Format vorbereitet wird, darf dieses Format üben. Wenn wir darüber hinaus Fachwissen behaupten wollen, müssen neue Fälle oder Aufgaben hinzukommen, in denen erst entschieden werden muss, welches Wissen relevant ist.

Und beim Französisch sollten wir endgültig aufhören, „Transfer“ wie einen einzigen Schalter zu behandeln. Eine Ausspracheregel erkennen, eine Grammatikform korrekt bilden, einen unbekannten Sprecher verstehen und spontan antworten sind verschiedene Zielkonstrukte.

Dass Variation bei einem davon hilft, sagt noch wenig über die anderen.