Muss ich wissen, dass ich etwas nicht kann?

Folge 9 hat unsere Ansprüche an den Satz „Ich kann das" etwas erhöht.

Eine gelöste Aufgabe beweist zunächst eine gelöste Aufgabe. Hilfegrad, Zeitabstand und Veränderung der Situation bestimmen, wie weit wir den Schluss ziehen dürfen.

Nun könnte man einwenden, dass Menschen keine Laborratten sind. Wir merken doch selbst, ob wir etwas können.

Meistens jedenfalls.

Ich kenne beispielsweise den Namen eines Schauspielers ganz genau. Er liegt mir auf der Zunge. Das ist ein bemerkenswerter Wissenszustand: Die Information ist subjektiv zweifelsfrei vorhanden und objektiv gerade nicht lieferbar.

Das Gedächtnis besitzt Sinn für britischen Humor.

Vertrautheit ist ein Hinweis, kein Zertifikat

Asher Koriat beschrieb metakognitive Urteile als Schlussfolgerungen aus Hinweisen, die uns beim Lernen zur Verfügung stehen.[1]

Das erklärt eine alltägliche Falle.

Wenn ich eine Lösung gerade gelesen habe, ist sie flüssig, vertraut und sichtbar. Diese Leichtigkeit kann in mein Urteil eingehen: Das kenne ich. Das kann ich.

Koriat und Bjork zeigten, wie die Anwesenheit der richtigen Antwort beim Lernen die Vorhersage späteren Abrufs verzerren kann.[2]

Der entscheidende Unterschied ist einfach:

Etwas wiedererkennen, wenn es vor mir liegt, ist nicht dasselbe wie es später selbst hervorbringen.

Das haben wir bereits bei F7 gestreift. F10 macht daraus eine Diagnosefrage.

Erst versuchen, dann urteilen

Interessant wird es, wenn man das Urteil zeitlich verschiebt.

Nelson und Dunlosky fanden schon früh, dass verzögerte Judgments of Learning -- insbesondere wenn Lernende nur den Hinweisreiz sehen und die Antwort gedanklich abrufen müssen -- den späteren Abruf relativ gut vorhersagen können.[3] Eine spätere Meta-Analyse bestätigt den grundsätzlichen Effekt, zeigt aber auch Unterschiede zwischen Bedingungen und Messweisen.[4]

Das bedeutet nicht, dass Menschen nach einer kurzen Pause zu perfekten Messgeräten ihrer selbst werden.

Es bedeutet etwas Bescheideneres und Nützlicheres:

Ein Urteil, das auf einem eigenen Abrufversuch beruht, kann informativer sein als das warme Gefühl direkt nach dem Lesen.

Vielleicht sollte eine gute Lern-KI also nicht ständig fragen:

„Wie sicher fühlst du dich?"

Sondern gelegentlich:

„Versuch es erst. Und jetzt: Wie sicher bist du?"

Die Reihenfolge könnte wichtiger sein als die Skala.

80 Prozent sicher -- worin genau?

Auch „Confidence" klingt präziser, als es häufig ist.

Wenn jemand sagt, er sei zu 80 Prozent sicher, kann man fragen, ob solche Angaben über viele Aufgaben tatsächlich ungefähr mit der Trefferquote zusammenpassen. Das ist eine Form von Kalibrierung.

Man kann aber auch fragen, ob jemand wenigstens unterscheiden kann, bei welchen Antworten er relativ sicherer oder unsicherer sein sollte.

Das sind verschiedene Eigenschaften.

Eine Person kann ihre guten und schlechten Antworten recht ordentlich sortieren und trotzdem insgesamt zu optimistisch sein.

Für unser Lernsystem heißt das: Eine Konfidenzzahl ist keine Ground Truth. Sie ist eine weitere Beobachtung.

Nützlich möglicherweise.

Unfehlbar nicht.

Das Dunning-Kruger-Problem mit dem Dunning-Kruger-Effekt

An dieser Stelle wartet ein berühmter Befund darauf, alles sehr einfach zu machen.

Menschen, die wenig können, merken nicht, dass sie wenig können.

Das wird gewöhnlich „Dunning-Kruger-Effekt" genannt und eignet sich ausgezeichnet, um zu erklären, warum vor allem andere Menschen ihre Fähigkeiten überschätzen.

Die Forschung ist weniger bequem.

Die ursprünglichen Arbeiten von Kruger und Dunning berichteten besonders große Unterschiede zwischen eigener Einschätzung und gemessener Leistung bei schwächeren Teilnehmenden und diskutierten eine metakognitive Erklärung.[8]

Spätere Arbeiten zeigen jedoch, dass statistische Effekte wie Regression zur Mitte, Begrenzungen der Skalen und die Bildung von Leistungsgruppen einen Teil der bekannten Kurven erzeugen können.[9] Andere neuere Untersuchungen finden wiederum Hinweise darauf, dass schwächere Leistung tatsächlich mit weniger differenzierter Selbsteinschätzung verbunden sein kann.[10]

Die seriöse Schlussfolgerung lautet daher weder:

„Unfähige wissen nie, dass sie unfähig sind."

noch:

„Dunning-Kruger gibt es überhaupt nicht."

Für unseren Blog ist das beinahe schade. Für unsere Lern-KI ist es ein Gewinn.

Sie darf Menschen nicht aufgrund eines populären Memes psychologisch einsortieren.

Der selbstsichere Fehler

Ein besonders schöner Gegenbefund kommt aus der Forschung zur Hypercorrection.

Butterfield und Metcalfe beobachteten, dass manche Fehler, die mit hoher Sicherheit gegeben wurden, nach Feedback besonders gut korrigiert werden können.[7]

Das ist kontraintuitiv.

Hohe Sicherheit bei einer falschen Antwort ist natürlich diagnostisch interessant. Aber sie bedeutet nicht, dass der Irrtum besonders hartnäckig sein muss.

Er kann gerade deshalb lernwirksam werden, weil die Rückmeldung überrascht.

Für eine KI entsteht daraus eine angenehm unpädagogische Regel:

Wenn jemand selbstbewusst falsch liegt, ist das kein Anlass für ein Charaktergutachten.

Es ist zunächst ein guter Zeitpunkt für eine saubere Gegenprobe und Rückmeldung.

IT: „Ich weiß, wo der Fehler liegt"

Im Troubleshooting ist Confidence unvermeidlich.

Man bildet Hypothesen: DNS. Zertifikat. Firewall. Berechtigung. Natürlich DNS.

Ein Lernsystem könnte den Lernenden nicht nur eine Diagnose nennen lassen, sondern auch seine Sicherheit. Anschließend muss er Logs oder andere Evidenz prüfen und seine Hypothese gegebenenfalls revidieren.

Das wäre interessant, weil die KI nicht nur richtige Antworten zählen würde. Sie könnte beobachten, wie ein Mensch mit widersprechender Evidenz umgeht.

Direkte Feldforschung zur kalibrierten Selbsteinschätzung bei realen Produktionsstörungen ist allerdings dünn. Hier übertragen wir allgemeine Monitoring- und Feedbackprinzipien, nicht einen fertigen IT-Effekt.

Auch das sollte unser späteres System wissen.

Prüfung: Die Musterlösung ist ein schlechter Zeitpunkt für Selbstvertrauen

Wer unmittelbar nach dem Blick auf die Musterlösung gefragt wird, ob er die Aufgabe verstanden habe, befindet sich in einer beneidenswerten Situation.

Die Lösung ist da.

Natürlich sieht sie plausibel aus.

Interessanter wäre: Musterlösung schließen. Zeit verstreichen lassen. Nur die Frage zeigen. Erst selbst antworten. Dann Sicherheit einschätzen.

Solche Prozeduren sind weniger freundlich zum Gefühl des Fortschritts. Dafür liefern sie mehr Information darüber, was später tatsächlich verfügbar sein könnte.[2--4]

Und sie verändern die Lernsteuerung.

Wenn Überschätzung dazu führt, dass Menschen zu früh aufhören zu lernen, kann bessere Selbsteinschätzung praktische Folgen haben.[6]

Kalibrierung wäre dann nicht Selbstzweck. Sie wäre hilfreich, weil sie bessere nächste Entscheidungen ermöglicht.

Fremdsprache: Ich kenne das Wort

Kaum ein Satz demonstriert das Problem schöner.

„Ich kenne das Wort."

Dann bitte sagen.

Plötzlich wird aus Recognition Recall.

Und aus Recall im Vokabeltest wird noch lange kein spontanes Gespräch.

Eine Lern-KI müsste deshalb nicht nur fragen, ob ein Wort bekannt wirkt. Sie müsste wissen, unter welcher Bedingung dieses Gefühl entstanden ist.

Wurde die Übersetzung gerade angezeigt?

Musste das Wort frei produziert werden?

Tauchte es in einem unerwarteten Gespräch auf?

Ein einziges subjektives „kann ich" über diese Situationen zu legen wäre praktisch. Aber nicht besonders informativ.

Wenn Mensch und KI verschiedener Meinung sind

Damit kommen wir zu einer Frage, die F12 später noch beschäftigen wird.

Was geschieht, wenn ich sage:

„Das kann ich."

und die KI sagt:

„Meine bisherigen Beobachtungen sprechen dagegen."

Oder umgekehrt.

Die Versuchung wäre groß, einen Sieger zu bestimmen.

Aber nach allem, was wir bisher gesehen haben, wäre das voreilig. Die KI besitzt Beobachtungen unter bestimmten Bedingungen. Der Mensch besitzt Erleben, Kontext und möglicherweise Informationen, die das System nicht hat. Beide können irren.

Eine gute Lernumgebung müsste den Widerspruch deshalb vermutlich nicht sofort auflösen.

Sie könnte ihn prüfbar machen.

„Dann probieren wir es."

Das ist eine erstaunlich friedliche Lösung für ein epistemisches Problem.

Die KI als Spiegel -- mit beschlagener Oberfläche

F10 gibt uns damit keinen perfekten Selbsteinschätzungsalgorithmus.

Sie gibt uns etwas Brauchbareres.

Subjektive Sicherheit ist ein Signal. Sie sollte nicht mit Kompetenz verwechselt werden. Eigene Abrufversuche können Selbsteinschätzungen informativer machen. Feedback kann Monitoring und weitere Lernentscheidungen verbessern. Und selbst sehr sichere Fehler sind keine Diagnose über die Person.

Für unsere spätere Hobbythek wird daraus eine Baufrage: Wie verbinden wir Selbsturteil, beobachtete Leistung und Unsicherheit, ohne eines davon zur Wahrheit zu erklären?

Noch ist es zu früh, sie zu beantworten.

Denn eine letzte Probe fehlt.

Bisher durfte die KI fragen, erklären, erinnern, prüfen, widersprechen und helfen.

Aber irgendwann muss sichtbar werden, was ohne sie geschieht.

Wann ist die KI fertig?