Die KI-Chroniken

Fachfolge 1 · Vom Antworten zum Handeln

„Sie erwägt, die Aufgabe abzugeben.“

So lautet die Angabe.

In der Zusammenfassung steht: „Sie wird die Aufgabe abgeben.“

In der ersten Folge unseres Romans bemerkt Matthias den Unterschied beinahe zu spät. Er hat einer KI einen ausdrücklich erfundenen Fall diktiert. Die Zusammenfassung ist schnell fertig, klingt ordentlich und scheint ihm Arbeit abzunehmen. Er möchte sie schon übernehmen. Dann hält er inne.

Die Entscheidung war noch offen.

Matthias lässt den Satz korrigieren. Für diese Notiz genügt das. Doch stellen wir uns vor, die Zusammenfassung würde später wieder verwendet. Eine weitere Beratung könnte bereits davon ausgehen, dass die Person ihre Aufgabe abgeben will. Vielleicht würde eine entsprechende Nachricht vorbereitet.

Dann wäre ein Wort zur Voraussetzung des nächsten Schrittes geworden.

An diesem Übergang beginnt unsere Untersuchung. Eine Antwort kann uns helfen, etwas zu verstehen. Sie kann aber auch in einen Arbeitsablauf eingehen, dessen weitere Schritte wir nicht mehr einzeln überblicken.

Um das genauer zu betrachten, nehmen wir eine zweite erfundene Person hinzu. Eva möchte sich beruflich verändern. Sie arbeitet seit Jahren in einem Unternehmen, kennt ihr Fach und übernimmt zunehmend Verantwortung. Was ihr fehlt, ist planbare freie Zeit. Führung könnte sie interessieren. Festgelegt hat sie sich darauf nicht.

Eva öffnet eine entsprechend ausgestattete KI-Anwendung und beschreibt ihre Situation. Die erste Antwort nennt Möglichkeiten: ein Gespräch mit dem Arbeitgeber, eine andere Aufgabenverteilung, einen Stellenwechsel.

Das hilft ihr, ihre Gedanken zu ordnen. Für eine konkrete Suche reicht es noch nicht. Ihr Lebenslauf liegt dem System nicht vor. Auch die Frage, wie viel sie arbeiten möchte, ist ungeklärt.

Eva ergänzt: höchstens dreißig Stunden. Und sie stellt einen Lebenslauf bereit.

Was hat sich dadurch technisch verändert?

Das Sprachmodell wurde vorher anhand großer Datenmengen trainiert. Dabei wurden seine inneren Zahlenwerte angepasst. Diese sogenannten Parameter tragen die erlernten Regelmäßigkeiten, mit denen es anschließend arbeitet. [1]

Bei vielen Sprachmodellen spielt im Vortraining die Aufgabe eine zentrale Rolle, aus einem gegebenen Textzusammenhang die nächsten Textbausteine vorherzusagen. Daraus können weitreichende Fähigkeiten zur Sprachverarbeitung entstehen. Weitere Trainingsschritte können das Befolgen von Anweisungen verbessern, etwa anhand bewerteter Antwortbeispiele. [2]

Evas persönlichen Lebenslauf erhält das System hier jedoch erst durch ihre Eingabe.

Der Lebenslauf gehört nun zu den Informationen, die bei der Bearbeitung berücksichtigt werden können. Dafür verwenden wir den Begriff Kontext. Gemeint ist das Material, das dem Modell für seine jeweilige Antwort tatsächlich zur Verfügung steht.

Die Unterscheidung wird wichtig, sobald jemand sagt: „Ich habe meine KI mit Fachbüchern trainiert.“

Vielleicht hat tatsächlich ein zusätzliches Training stattgefunden, bei dem Parameter verändert wurden. Vielleicht wurden aber auch Bücher als Dateien bereitgestellt. Oder eine Suchfunktion wählt daraus passende Passagen aus, die das Modell bei seiner Antwort berücksichtigen soll.

Diese Verfahren können in einer Anwendung zusammenkommen. Sie leisten dennoch Unterschiedliches.

Ein Fachbuch bereitzustellen verändert nicht automatisch die erlernten Fähigkeiten des Modells. Es kann dem System aber Material zugänglich machen, das für eine Aufgabe gebraucht wird. Ob die passende Stelle gefunden und richtig verwendet wird, bleibt zu prüfen.

Bei Eva lässt sich das unmittelbar verfolgen. Das System soll ihre Berufserfahrung mit Stellenanzeigen vergleichen. Dafür muss es die Angaben aus ihrem Lebenslauf berücksichtigen und Informationen über die Stellen erhalten.

Eine Anwendung kann dazu aus ihren Dokumenten relevante Passagen abrufen. Dieses Prinzip heißt abrufgestützte Textgenerierung. Die internationale Abkürzung lautet RAG. Für den Moment genügt die Vorstellung: Das System bekommt zusätzliches Material für seine Antwort. [3]

In unserem Beispiel findet die Anwendung drei Stellen, die zu Evas Erfahrung passen könnten.

Eine davon klingt besonders interessant. Fachliche Verantwortung, ein kleines Team, ein neues Aufgabenfeld. Eva liest genauer. Über den Umfang der Arbeitszeit steht dort nichts.

Ein hilfreiches Ergebnis wäre jetzt eine klar gekennzeichnete Lücke: Diese Stelle könnte fachlich passen; ob sie mit dreißig Stunden vereinbar ist, geht aus der Anzeige nicht hervor.

Damit hat Eva etwas gewonnen. Sie muss die Anzeige nicht selbst vollständig erschließen, sieht aber, was noch ungeklärt ist. Sie kann entscheiden, ob sich eine Nachfrage lohnt.

Für diesen Nutzen musste die Anwendung mehrere Informationen zusammenbringen. Nun könnte sie einen weiteren Auftrag erhalten: „Finde heraus, ob die Stelle auch in Teilzeit möglich ist.“

Dazu braucht sie Zugang zu einer Suche oder einer anderen Informationsquelle.

Solche angeschlossenen Funktionen werden Werkzeuge genannt. Das Modell kann beispielsweise eine Suchanfrage erzeugen. Die umgebende Software führt sie aus und liefert das Ergebnis zurück. Das Modell verarbeitet die neue Information und kann danach einen weiteren Schritt auswählen.

Findet es auf der Unternehmensseite keine klare Auskunft, sollte die Unsicherheit erhalten bleiben. Vielleicht lässt sich eine Kontaktperson ermitteln und eine Nachfrage entwerfen. Auch das wäre ein brauchbares Ergebnis.

Wir sind inzwischen über eine einzelne Antwort hinausgegangen.

Die Anwendung verfolgt einen Auftrag, benutzt Werkzeuge und richtet ihr weiteres Vorgehen nach Zwischenergebnissen aus. Für solche Systeme wird häufig der Begriff Agent verwendet. Die Definitionen unterscheiden sich. Für unsere Betrachtung ist die Bearbeitungsschleife entscheidend: handeln, ein Ergebnis erhalten und auf dieser Grundlage weiterarbeiten. [5]

Ein solcher Ablauf kann flexibel sein. Eva muss nicht jede Suchanfrage selbst formulieren. Sie kann ein Ziel vorgeben und die Bearbeitung einiger Zwischenschritte übertragen.

Wie weit diese Übertragung reicht, hängt von den Werkzeugen und Befugnissen ab.

Eine Suche liefert Informationen. Das Eintragen eines Entwurfs verändert eine Datei. Das Versenden einer Nachricht erreicht einen anderen Menschen.

Diese Handlungen haben unterschiedliche Folgen. Ein Entwurf lässt sich vor dem Versand korrigieren. Eine versendete Nachricht kann bereits gelesen worden sein.

Deshalb ist die Frage nach der Leistungsfähigkeit allein zu wenig. Zu einem brauchbaren System gehört auch eine sinnvolle Grenze seines Handlungsspielraums.

Eva könnte die Anwendung recherchieren und eine Nachfrage vorbereiten lassen. Vor dem Versand sieht sie den Text, den Empfänger und die Angaben, die über sie weitergegeben werden sollen.

Diese Prüfung muss praktisch möglich sein. Eine Schaltfläche mit der Aufschrift „Freigeben“ hilft wenig, wenn unklar bleibt, was damit ausgelöst wird.

Noch etwas verdient Aufmerksamkeit: Die Anwendung liest bei ihrer Recherche fremde Inhalte.

Darin können Informationen fehlen oder falsch sein. Es können auch Texte enthalten sein, die gezielt wie Anweisungen an das System formuliert wurden. In der Sicherheitsforschung wird untersucht, wie solche eingeschleusten Anweisungen einen Agenten von seinem eigentlichen Auftrag abbringen können.

Das Fachwort dafür lautet indirekte Prompt Injection. [7]

Für Eva bedeutet das: Die Anwendung muss zwischen Material unterscheiden, das sie auswerten soll, und Anweisungen, denen sie folgen darf. Ein Text auf einer fremden Website darf nicht einfach bestimmen, was mit ihrem Lebenslauf geschieht.

Mit jedem neuen Zugang wird deshalb auch die Gestaltung der Anwendung wichtiger. Zusätzliche Funktionen sind nützlich, wenn sie zur Aufgabe passen und ihre Ergebnisse überprüfbar bleiben.

Kehren wir zu Evas offener Frage nach Führung zurück.

Angenommen, die Anwendung speichert nach dem Gespräch eine Notiz. Darin könnte stehen: „Eva sucht eine Führungsposition.“

Das wäre dieselbe Verschiebung, die Matthias im Roman bemerkt hat. Eva hatte Führung als Möglichkeit genannt. In der Notiz erscheint sie als Ziel.

Wird diese Information später erneut bereitgestellt, kann sie die nächste Suche bestimmen. Vielleicht fehlen dann passende Fachstellen ohne Personalverantwortung.

Eine Gedächtnisfunktion kann also dafür sorgen, dass Eva sich nicht ständig wiederholen muss. Sie kann zugleich eine falsche Annahme weitertragen.

Technisch werden dafür je nach Anwendung etwa Notizen oder Zusammenfassungen gespeichert und später abgerufen. Das bedeutet nicht zwangsläufig, dass sich die Modellparameter bei jedem Gespräch verändern. [4]

Für Eva ist vor allem wichtig, ob sie erkennen und korrigieren kann, welche Angaben künftig verwendet werden.

Hier zeigt sich der systemische Zusammenhang. Eva formuliert ein Anliegen. Die Anwendung wählt Informationen aus und macht Vorschläge. Diese Vorschläge lenken Evas Aufmerksamkeit. Ihre Reaktion wird wiederum zur Grundlage weiterer Schritte.

Eine brauchbare Zusammenarbeit entsteht aus diesem Verlauf.

Wie gut sie funktioniert, lässt sich an einer eindrucksvollen Antwort allein kaum beurteilen. Wir müssen betrachten, ob die Aufgabe insgesamt gelingt und welcher Aufwand dafür erforderlich ist.

In der Forschung werden dafür abgegrenzte Aufgaben verwendet, deren Ergebnisse sich bewerten lassen. Erfolge bei Softwareaufgaben sagen beispielsweise etwas über die dort geprüften Fähigkeiten aus. Sie beantworten noch nicht, wie zuverlässig eine Anwendung Evas berufliche Suche unterstützt. [6]

Dafür brauchen wir passende Maßstäbe. Wurden ihre Kriterien berücksichtigt? Sind die Angaben zu den Stellen nachvollziehbar? Bleiben fehlende Informationen sichtbar? Und spart sie nach Kontrolle und Korrektur tatsächlich Arbeit?

Auch das amerikanische Normungsinstitut NIST empfiehlt, Leistungen im jeweiligen Einsatzkontext zu prüfen und Ergebnisse nicht aus einzelnen gelungenen Beispielen zu verallgemeinern. [8]

Sie können einen kleinen Teil davon selbst ausprobieren.

Schreiben Sie einen erfundenen beruflichen Fall. Eine Person denkt über eine Veränderung nach, hat sich aber noch nicht entschieden. Lassen Sie diesen Fall zusammenfassen. Bitten Sie anschließend darum, auf Grundlage der Zusammenfassung einen nächsten Schritt vorzubereiten.

Vergleichen Sie beide Ausgaben mit Ihrem Ausgangstext. Ist die Entscheidung noch offen? Wurde etwas ergänzt, das Sie gar nicht angegeben hatten?

Der Versuch kann korrekt verlaufen. Er kann auch eine Verschiebung zeigen. Beides betrifft zunächst diesen einzelnen Durchlauf. Sie gewinnen damit keinen allgemeinen Leistungstest, aber einen genaueren Blick auf den Übergang von einer Formulierung zum weiteren Vorgehen.

In unserem Beispiel hat Eva am Ende eine brauchbare Vorauswahl und einen Entwurf für eine Nachfrage. Sie prüft ihn vor dem Versand. Ob sie führen möchte, bleibt offen.

Darin liegt ein konkreter Nutzen: Ein Teil der Arbeit ist erledigt, ohne dass ihre noch ungeklärte Entscheidung bereits als Voraussetzung behandelt wird.

Die Frage nach der KI wird dadurch genauer. Wir betrachten das Modell zusammen mit den Informationen, die es erhält, den Werkzeugen, die es benutzen kann, und den Befugnissen, die ihm eingeräumt werden.

In der nächsten Folge bleiben wir bei der gespeicherten Notiz über Eva. Wir untersuchen, wie aus einzelnen Angaben eine Deutung entsteht — und wie diese Deutung die weitere Begleitung verändern kann.