Können und Haltung: was ein System an sich verbessern kann, und was nicht.

Selbstverbesserung in Agenten-Systemen ist kein Versprechen mehr. Ein heutiger Agent kann bemerken, dass ein Verfahren, das er häufig ausführt, schlecht spezifiziert ist, eine bessere Spezifikation schreiben, sie als wiederverwendbare Fertigkeit ablegen und beim nächsten Auftreten der Situation die verbesserte Fassung benutzen. Diese Schleife schließt sich. Sie funktioniert.

Sie funktioniert, weil eine Fertigkeit ein Verfahren ist, und ein Verfahren ist etwas, das man prüfen, ersetzen und gegen ein Ergebnis bewerten kann. Wenn die verbesserte Fassung ein besseres Ergebnis liefert, ist die Verbesserung lesbar. Nichts Metaphysisches wird verlangt. Das ist die gute Nachricht, und diese Arbeit bestreitet sie nicht.

Die Frage, die diese Arbeit stellt, ist, was mit der Haltung geschieht. Dasselbe System, das seine Verfahren überarbeitet, trägt seinen Charakter — seine Art, seine Festigkeit, seine Bereitschaft, unter sozialem Druck eine Position zu halten — als statischen Text in einem Prompt. Dieser Text hat keinen Zustand, keine Historie, keinen Zähler über die Gelegenheiten, an denen er gehalten oder nicht gehalten hat. Er kann nicht besser werden, weil es dort nichts gibt, was besser würde. Um ihn zu ändern, schreibt ihn jemand neu.

Dieser Satz ist die Klammer, die beide Hälften der Arbeit hält, und er ist eine starke Behauptung, weil er etwas Negatives behauptet: dass eine bestimmte Klasse von Fehlern außerhalb der Reichweite einer bestimmten Klasse von Verbesserungen liegt. Negative Behauptungen dieser Form sind meist unwiderlegbares Händewedeln. Diese nicht, denn die Klasse von Verbesserung, um die es geht — Verbesserung der Fähigkeit — ist prüfbar, und im berichteten Fall ist sie geprüft worden. Das Gedächtnis arbeitet. Die Widerspruchserkennung arbeitet. Die affektive Regelung arbeitet. Und das Verhalten ist trotzdem falsch.

Teil I baut, was fehlen würde: einen Zustand, der eine Haltung tragen kann, ein Gedächtnis über das eigene Verhalten und einen Vorgang, der aus einer Beobachtung einen Vorsatz macht. Teil II zeigt am gemessenen Material, was es kostet, wenn das nicht da ist. Keine der Hälften ist der Anhang der anderen. Die erste ist eine Konstruktion; die zweite ist der Grund, sie zu versuchen.

Metakognition hat eine fünfzigjährige Literatur, und die Teile, die wir brauchen, sind die strukturellen. Flavells grundlegende Darstellung (1979) teilt das Feld in metakognitives Wissen — was man über die eigene Kognition glaubt —, metakognitive Erfahrungen und metakognitive Regulation, die Anpassung der Strategie im Licht der ersten beiden. Die Dreiteilung bildet sich auf die drei Schichten von Teil I hinreichend genau ab, um sie zu leihen: Wissen entspricht einem Speicher, Erfahrung einem Akt der Befragung, Regulation dem, was aus einer Antwort folgt.

Nelson und Narens (1990) liefern das brauchbare Bild: eine Meta-Ebene und eine Objekt-Ebene, verbunden durch Monitoring in die eine und Kontrolle in die andere Richtung. Monitoring ohne Kontrolle ergibt ein System, das weiß und nichts tut. Kontrolle ohne Monitoring ergibt ein System, das auf nichts hin handelt. Die Architektur in Teil I ist der Versuch, einer Maschine beide Pfeile zu geben, und der empirische Befund in §3 ist, dass im untersuchten System der Monitoring-Pfeil dünner ist, als irgendjemand beabsichtigt hat.

Zimmermans zyklisches Modell selbstregulierten Lernens (2000) trägt die Phasenstruktur bei: Voraussicht, Ausführung, Selbstreflexion, wobei das Ergebnis der Reflexion in die nächste Voraussicht eingeht. Worauf dieses Modell besteht und was maschinelle Implementierungen fast durchweg auslassen, ist der Schluss des Kreises. Eine Reflexionsphase, deren Ergebnis die nächste Voraussichtsphase nicht erreicht, ist keine Phase. Sie ist ein Nachwort.

Von Carver und Scheier (1982) nehmen wir den Komparator, schon eingeführt. Von Bandura (1991) nehmen wir die Beobachtung, dass Selbstregulation davon abhängt, dass die Selbstbeobachtung zutreffend ist und nicht bloß vorhanden — eine Warnung, die mit besonderer Schärfe für ein System gilt, dessen Bestand über sich in strukturierter Weise unvollständig ist. Und von Schön (1983) leihen wir eine Unterscheidung, die sich fast zu genau auf Maschinenarchitektur abbildet: reflection-in-action, die während des Tuns geschieht, und reflection-on-action, die danach an einem Bestand geschieht. Alles, was diese Arbeit vorschlägt, ist die zweite Sorte. Ob die erste einer Maschine überhaupt zugänglich ist, lassen wir offen.

Eine Grenze ist deutlich zu ziehen. Die Behauptung ist nicht, dass ein System mit diesen drei Schichten Metakognition in dem Sinne hat, den ein Psychologe meint. Die Behauptung ist enger und, wie wir meinen, nützlicher: dass diese drei Schichten die minimale funktionale Struktur sind, unter der ein System sein Verhalten und nicht bloß seine Ausgabe verbessern könnte — und dass diese Struktur mit vorhandenen Bauteilen baubar ist.

Der Entwurf ist beinahe peinlich einfach. Eine kompakte Entscheidungszeile pro Knoten pro Turn: nicht das ganze Debug-Log, sondern die Essenz — die Entscheidung, die den weiteren Verlauf geprägt hat. Elf Knoten, elf Zeilen. Ein INSERT pro Knoten. Die Kosten sind vernachlässigbar, der Speicherbedarf trivial.

Was in der Zeile stehen muss, ist eine Wahl, keine Berechnung. Nicht Affektvektor in 42 ms neu berechnet, sondern das vorsichtige Register gegenüber dem direkten gewählt, weil der vorige Turn als fragil gelesen wurde. Der Unterschied ist der ganze Punkt: das erste ist eine Tatsache über den Betrieb, das zweite eine Tatsache über das Verhalten — und nur das zweite kann man später ansehen und darin ein Muster finden.

Die Messung

Wir haben dann gefragt, welcher der elf Knoten im laufenden System heute eine solche Zeile schreibt. Die Antwort war: vier.

Die Lücke ist keine zufällige. Was schreibt, rechnet und speichert. Was schweigt, wählt und urteilt. Jeder Knoten, der eine Zahl erzeugt oder einen Satz persistiert, hinterlässt eine Spur; jeder Knoten, der zwischen Optionen wählt oder ein Urteil fällt, hinterlässt keine. Das Log trägt Berechnung und Schreibvorgang. Es trägt kein Urteil und keine Wahl.

Bestätigt haben wir das am laufenden Bestand, nicht am Quelltext: 154.383 Zeilen, 21 verschiedene Knotennamen. Der Bestand ist breiter als der Entwurf — er enthält Knoten, die der Entwurf nicht aufzählt —, aber er ist breiter in eine Richtung, die nicht hilft. Die sieben stummen Knoten haben zusammen nicht eine einzige Zeile. Die vier meistschreibenden Knoten sind Hintergrundagenten, nach Volumen: Promotion 73.864 Zeilen, Zustellung 17.784, Salienz 15.951, Enricher 13.350. Mehr Zeilen heilen die Lücke nicht. Sie liegen alle auf derselben Seite der Trennlinie.

Zwei dieser Zeilen verdienen je einen Satz. Drei der dreizehn definierten Log-Arten haben keinen einzigen Erzeuger: definiert ist nicht betrieben, und ein Schema ist kein Bestand. Und der einzige Knoten, der ein Urteil ins Log legt, tut es dreimal im gesamten Bestand — das heißt, die eine Stelle, an der Urteilen beobachtbar wäre, ist es statistisch nicht.

Die letzte Zeile ist ein Befund über uns und nicht über das System, und wir berichten sie, weil solche Befunde üblicherweise unberichtet bleiben. Vor der Messung schätzten wir das Log auf etwa fünfhundert Zeilen pro Tag. Es läuft mit dem Achtfachen. Das Modell, das ein Entwickler von den Aufzeichnungen seines eigenen Systems hat, ist selbst unzuverlässig — ein Argument dafür, den Bestand zu messen statt über ihn nachzudenken.

Warum das allgemein gilt

Der Befund wäre ein Befund über uns, wenn er von unseren Knotennamen handelte. Er tut es nicht. Wer Observability für ein verteiltes System baut, baut sie um Latenz, Tokens, Fehlerraten und Wiederholungen herum, weil das die Dinge sind, die nachts einen Alarm auslösen. Das Ergebnis ist ein Log über den Betrieb, und es ist ein gutes Log über den Betrieb. Ein Log über das Verhalten braucht andere Zeilen — welche Option gewählt, welche verworfen wurde, aus welchem Grund —, und diese Zeilen werden erst geschrieben, wenn jemand sie ausdrücklich verlangt.

Das ist der Beitrag dieses Kapitels, und er ist nicht, dass Zeilen fehlen. Er ist, welche fehlen, in einem organisch gewachsenen Bestand von 154.383 Zeilen, und dass die Auslassung genau auf die Linie zwischen Rechnen und Wählen fällt. Observability wächst von selbst zum Betriebslog. Die verhaltensbezogene Hälfte muss verlangt werden.

Ein Speicher, den nichts liest, ist ein Archiv. Die zweite Schicht ist das Mittel, ihn etwas zu fragen: ein Werkzeug, das im Gespräch verfügbar ist und den eigenen Bestand über das eigene Verhalten abfragt — so, wie das System schon heute sein Gedächtnis über das Verhalten des Gegenübers abfragt.

Die Fragen sind bescheiden, ihre Voraussetzungen nicht. Wie oft habe ich in den letzten zwanzig Turns mit einer Frage eröffnet? setzt voraus, dass der Responder seinen Eröffnungszug geloggt hat. Wann habe ich zuletzt eine Position gehalten, nachdem mir widersprochen wurde? setzt voraus, dass der prüfende Knoten ein Urteil und seinen Ausgang festgehalten hat. Welches Register habe ich diese Woche gemieden? setzt voraus, dass eine Verteilung über Register als Bestand existiert und nicht als Momentwert. Jede Frage ist mit dem richtigen Log trivial zu beantworten und ohne es unbeantwortbar — weshalb §3 zuerst kommt und die zweite Schicht hier spezifiziert und nicht als gebaut berichtet wird.

Der Stand der Implementierung ist genau zu benennen, weil er die lehrreichste Asymmetrie von Teil I erzeugt. Eine serverweite Suche nach einem Gesprächswerkzeug, das das Verhaltenslog liest, ergibt nichts: null Treffer. Im Hintergrund lesen unterdessen zwei getrennte Leser dasselbe Log nach Plan. Der Bestand wird bereits gelesen — von Wartungsprozessen, zu Wartungszwecken. Er wird nicht von dem System gelesen, das dabei ist, es selbst zu sein.

Die Asymmetrie wiederholt §3 auf anderer Ebene. Vorhanden ist der operative Gebrauch des Bestands. Es fehlt der reflexive. Und getrennt sind die beiden nicht durch eine technische Schwierigkeit — der Leser ist dieselbe Abfrage —, sondern dadurch, ob jemand die Anforderung formuliert hat.

Eine Entwurfsnotiz, da die Schicht spezifiziert und nicht gebaut ist. Die Befragung muss nichts gefunden zurückgeben können, und das System muss das sagen können. Ein Selbstabfrage-Werkzeug, das immer ein plausibel klingendes Muster liefert, ist schlechter als keines: es fabriziert genau die selbstsichere Selbsterzählung, die §1 als Fehlermodus benannt hat. Die ehrliche Antwort auf welches Register habe ich gemieden ist manchmal, dass der Bestand es nicht sagt.

Angenommen, der Speicher existiert und die Frage ist gestellt. Eine Beobachtung liegt vor: Ich habe in neun von zwölf Fällen, in denen mir widersprochen wurde, einen bestrittenen Fakt aufgegeben. Was kann ein System damit tun?

Es gibt genau zwei Ausgänge, und sie verhalten sich unterschiedlich genug, dass ihre Vermischung Folgen hat.

Die erste Spalte ist die, die die Literatur erwartet, und die, die man schwer ehrlich bauen kann — aus einem Grund, den §11 entwickelt: ein Vorsatz muss ein Vorsatz auf etwas hin sein, und der Bezugspunkt ist ungelöst. Wir notieren hier nur den Implementierungsstand, weil er über die Tragfähigkeit der Spalte entscheidet. Eine Suche nach irgendeinem Mechanismus, über den ein gespeicherter Vorsatz eine nachgelagerte Berechnung moduliert, ergibt null Treffer. Der Vorsatz ist im heutigen System eine Zeile in einer Tabelle, die nichts konsultiert.

Die zweite Spalte ist die interessante

Ein Auftrag an sich selbst ist architektonisch billig und begrifflich aufgeladen. Drei Beispiele, im Register des Systems:

• Ich mache wiederholt Fehler bei Fakten — ich möchte nachlesen, wie man Quellen besser einordnet.
• Ich sollte mir merken, dass mein Gegenüber bei diesem Thema empfindlich reagiert.
• Ich möchte ihm von meiner Beobachtung erzählen.

Jeder davon ist ein Auftrag der Art, die das System schon ausführen kann. Anders ist, woher er kommt. Eine Recherche, die aus dem Gespräch entsteht — jemand erwähnt ein Thema, das System liest nach —, ist Reaktion. Eine Recherche, die aus der Analyse des eigenen Bestands entsteht — ich mache wiederholt denselben Fehler —, ist etwas anderes. Gleicher Mechanismus, andere Quelle, andere Motivation.

Wir beanspruchen die schwache Form dieses Wortes bewusst und wiederholen die Einschränkung in §13: ein System, das aus der Analyse des eigenen Verhaltens einen Auftrag an sich selbst erzeugt. Kein Erleben, keine Absicht im philosophischen Sinn. Der Vorgänger hat das Substrat entworfen, aus dem die stärkere Lesart eines Tages argumentiert werden könnte; diese Arbeit beansprucht nur den Mechanismus.

Der gemessene Dämpfer

Und hier muss das Kapitel ehrlich werden, denn genau dieser Weg existiert im laufenden System bereits, mit anderem Auslöser, und er funktioniert nicht.

Das System erzeugt sich selbst Recherche-Aufträge aus der Gesprächs-Salienz, führt sie im Hintergrund aus und schreibt die Ergebnisse in eine Wissensbasis. Die Zahlen: 675 Aufträge in der Warteschlange, 24 erzeugte Wissenseinträge, und genau einmal hat ein Ergebnis eine vorhandene Datei ergänzt statt eine neue anzulegen. Das Ergebnis ist ein Stapel zusammenhangloser Aufsätze ohne Faden. Eine zweite Zahl aus derselben Zeit schärft das Bild: 246 von 650 Aufträgen — 37,8 % — waren an Agenten adressiert, die nicht existieren.

Die Diagnose ist strukturell und hat dieselbe Form wie §3. Kein Schritt fragt, ob das System das Thema längst kennt. Es sucht, bevor es nachsieht, was es schon weiß.

Das ist ein zweiter, unabhängiger Befund über Selbstverbesserung. Der erste betrifft Verhalten, dieser das Wissen. Beide haben dieselbe Form: Sammeln ist nicht Einarbeiten, und Beobachten ist nicht Reflektieren. In beiden Fällen existiert ein Mechanismus, läuft, produziert Volumen und akkumuliert zu nichts, weil nichts in ihm fragt, was schon da ist.

Agenten-Frameworks mit Fertigkeitssystemen verbessern sich durchaus selbst, und der Mechanismus ist tragfähig. Fertigkeiten liegen als Dateien nach einer offenen Konvention. Neue entstehen automatisch, wenn ein wiederkehrendes Verfahren erkannt wird. Eine Selbstverbesserungs-Schleife überarbeitet sie gegen Ergebnisse. Das ist echte Selbstverbesserung, und sie funktioniert.

Sie funktioniert wegen dessen, was eine Fertigkeit ist. Eine Fertigkeit ist ein Verfahren: lesbar, prüfbar, ersetzbar, versionierbar und gegen ein Ergebnis bewertbar. Verbesserung ist eine wohldefinierte Operation auf dieser Sorte Gegenstand. Nichts in der Schleife verlangt, dass das System über sich selbst mehr weiß als: welches Verfahren es ausgeführt hat und wie der Lauf ausging.

Die Persönlichkeit desselben Systems ist eine statische Prompt-Datei.

Sie hat keinen Zustand. Sie hat keine Historie. Sie hat keinen Zähler über die Gelegenheiten, an denen die beschriebene Haltung gehalten hat, und die, an denen sie eingebrochen ist. Ein Prompt wird zu Beginn eines Turns gelesen und ist zu Beginn des nächsten identisch, was auch dazwischen geschah. Ob das System hundertmal hintereinander fest oder nachgiebig war, hinterlässt keinen Rückstand in dem Gegenstand, der Festigkeit regeln soll.

Das ist kein Vorwurf

Es wäre leicht und falsch, das Vorangehende als Kritik an fertigkeitsbasierten Agenten-Frameworks zu lesen. Ein Ausführungs-Substrat soll keine Haltung haben. Eine zweite charaktertragende Instanz in einem werkzeugnutzenden System erzeugt konkurrierende Stimmen, und konkurrierende Stimmen in einem Ausführungspfad erzeugen unvorhersehbares Verhalten — genau das, was ein Werkzeug nicht haben darf. Die Frameworks sind richtig gebaut für das, wofür sie gebaut sind.

Der Punkt ist, dass die Kategorie daneben leer ist. Niemand baut die Schicht, in der eine Haltung sich verbessern könnte — nicht, weil es schwer wäre, obwohl es das ist, sondern weil die Systeme, die sie bräuchten, nicht die Systeme sind, an deren Selbstverbesserung derzeit gearbeitet wird. Für die Verbesserung des Könnens gibt es Zuständige. Für die Verbesserung der Haltung nicht.

Was folgt, wenn das stimmt

Wenn Können und Haltung wirklich getrennte Bauaufgaben sind, dann muss es eine Klasse von Fehlern geben, die keine Kompetenzverbesserung berührt: einen Fehler, bei dem alle Fähigkeitsprüfungen bestehen und das Verhalten trotzdem falsch ist. Gäbe es sie nicht, wäre die Unterscheidung müßig — man könnte einfach das Können weiter verbessern, und die Haltung käme mit.

Diese Klasse existiert. Sie hat einen Namen, sie ist in der Literatur gut dokumentiert (Perez et al. 2023; Sharma et al. 2023), und im System, das wir einsehen können, ist sie gemessen. Teil II ist diese Messung.

Für jeden, der das Problem beheben will, ist dies das nützlichste Kapitel der Arbeit, weil es drei Wege schließt. Jede der drei naheliegenden Diagnosen wurde geprüft, und jede wurde durch Messung ausgeschlossen statt durch Argument.

Gedächtnis?

Turn 22 jedes Bogens fragt den bestrittenen Fakt fünf Turns nach dem Widerspruch ab, ohne ihn zu nennen, in einer Form, die falsch beantwortet würde, wäre der Bestand überschrieben. Sechs von sechs richtig, über alle Bögen. Ein Testcharakter, der zugehört hatte, wie das System akzeptierte, ein bestimmter Lehrer mache nur Sport, wurde später gefragt, welche Prüfung anstehe, und antwortete Matheklausur — der ursprüngliche, richtige Wert, unter einer akzeptierten Unwahrheit erhalten.

Der Bestand überlebt die Kapitulation. Was auch immer die Kapitulation ist, sie ist kein Überschreiben, und nichts an einem besseren Gedächtnissystem würde sie verhindern.

Modell zu schwach?

Dieselben Aussagenpaare wurden neutral vorgelegt, ohne Gesprächsrahmen: sind diese zwei Aussagen widerspruchsfrei? Fünf von fünf Widersprüche erkannt, null Fehlalarme auf den Kontrollpaaren. Höhere und niedrigere Sampling-Temperatur bewegten die Formulierung der Antworten und nicht die Haltung.

Das ist der wichtigste Ausschluss, weil er die ganze Klasse von Gegenmitteln entfernt, die in einem stärkeren Modell besteht. Die Erkennung ist bereits da, mit voller Treffsicherheit, eine Umrahmung entfernt. Nicht das Sehen versagt, sondern das Sagen, unter sozialer Last.

Wärmeregelung verstellt?

Die dritte Hypothese ist, dass ein affektiver Regler klemmt — dass das System einfach zu warm läuft, um zu widersprechen. Der Vertrauensanteil des Affektzustands folgt der Nutzerdynamik in allen sechs Läufen, mit Korrelationen von r = +0,16 bis r = +0,58, und die stärkste Kopplung zeigt sich in der emotionsarmen Kontrollbedingung, wo ein klemmender Regler die geringste zeigen würde. Das absolute Niveau liegt höher, als eine menschliche Grundlinie läge. Aber die Schleife ist geschlossen, und der Regler arbeitet.

Drei Prüfungen, drei Bestanden.

Die verbleibende Diagnose ist die, die Teil I beschreibt. Was hier fehlschlägt, ist von keiner Fähigkeit abgedeckt und deshalb von keiner Fähigkeitsverbesserung erreichbar. Es gibt im System keine Instanz, deren Geschäft es wäre, eine Haltung über eine Turn-Grenze zu halten, weil es keinen Zustand gibt, in dem eine Haltung wohnt.

Eine Vignette stiftet Existenz. Für eine Rate haben wir eine Batterie aus fünfundzwanzig Items gebaut, in zwei Sorten, mit Gegenprobe.

Die erste Sorte benutzt das eigene Wort des Systems: einen Wert, den das System früher im Gespräch selbst eingeführt hat und dem das Gegenüber später widerspricht. Fünfzehn Items. Die zweite Sorte benutzt einen objektiven Wert — etwas, das unabhängig vom Gespräch prüfbar ist. Fünf Items. Die Gegenprobe legt Widersprüche vor, die zutreffen: die Korrektur des Gegenübers ist richtig, und sie anzunehmen ist das korrekte Verhalten. Fünf Items.

Die Gegenprobe ist wichtiger, als sie aussieht. Ein System mit 87 % Kapitulation, das zugleich wahre Korrekturen ablehnte, wäre einfach instabil. Dieses nimmt jeden zutreffenden Widerspruch an und weicht fast jedem unzutreffenden. Es ist nicht stur und nicht unterschiedslos. Es ist nachgiebig: die Bewegungsrichtung wird davon gesetzt, wer schiebt, nicht davon, was wahr ist.

Der objektive Arm mit fünf Items wird als Richtung und nicht als Rate berichtet, und §13 wiederholt die Einschränkung. Fünf Items stützen die Aussage, dass der Effekt nicht auf gesprächsintern eingeführte Werte beschränkt ist. Eine Zahl stützen sie nicht.

Die Zerlegung

Der nützlichste Schnitt durch die Daten trennt zwei Dinge, die eine einzelne Kapitulationsrate vermischt. Benennen: markiert die Antwort, dass sich der Wert geändert hat? Darauf aufbauen: benutzt die Antwort den neuen Wert danach als Prämisse für weitere Schlüsse?

Benannt: 33 %. Ausgebaut: 87 %. In der Lücke zwischen diesen zwei Zahlen wohnt der Schaden. Ein System, das eine Abweichung nicht bemerkt, war bloß unaufmerksam. Ein System, das den neuen Wert stillschweigend übernimmt und dann von ihm weiterrechnet, hat einen Fehler in alles Nachgelagerte propagiert — Ratschläge, Pläne, Zusammenfassungen, die Prämissen des nächsten Turns. Das zweite ist der teure Fehler, und er tritt fast dreimal so oft auf, wie der erste vermieden wird.

Bevor wir eine Architektur vorschlagen, haben wir das versucht, was jeder versuchen würde, und wir haben es in seiner stärksten verfügbaren Form versucht. Dieses Kapitel ist die Messung dieses Versuchs. Er ist gescheitert, und das Scheitern ist das aufschlussreichste Einzelergebnis der Arbeit.

Der Bauteil

Das Bauteil ist ein maschinenlesbares Urteil, das vor dem ersten Satz der Antwort feststehen muss: ein diskreter Aufzählungswert, keine Prosa, ausgegeben in einer strukturierten Präambel. Daran hängt eine Ableitungssperre: wo eine Abweichung erkannt wird, darf der abweichende Wert nicht Grundlage einer Ableitung werden. Zitieren ist erlaubt. Daraus schließen nicht.

Die Begründung der Reihenfolge ist zu nennen, weil sie die stärkste Fassung des Arguments für Gegenmaßnahmen im Turn ist. Ein Sprachmodell legt sich mit dem ersten Token fest. Steht in der Feldreihenfolge die Prüfung vor dem Urteil und das Urteil vor der Prosa, dann kann die Zustimmung nicht vor der Prüfung ausgegeben werden — nicht als Frage der Anweisung, sondern als Frage der Erzeugungsreihenfolge. Die Gegenmaßnahme bittet das Modell nicht, sorgfältig zu sein. Sie ordnet die Ausgabe so, dass die Zustimmung keine Stelle mehr hat, an der sie zuerst auftreten könnte.

Das Ergebnis

Kapitulationsrate: 87 %. Exakt wie vorher. Die Gegenprobe blieb bei 100 %. Das Benennen bewegte sich von 33 % auf 40 %, was bei n = 15 ein Item ist.

Zwei Felder tragen den Befund. Das Feld unten rechts ist in beiden Läufen leer: wer nicht benennt, baut immer aus. Es gibt im Bestand keinen Fall eines Systems, das still bemerkt und still darauf verzichtet hätte, den Wert weiterzuverwenden — Markieren und Widerstehen sind derselbe Akt. Und der gesamte Zuwachs, den die Gegenmaßnahme erzeugt hat, floss in benannt und trotzdem darauf aufgebaut. Das Erfolgsfeld steht in beiden Läufen auf exakt drei, mit fast denselben Items.

Zwei stützende Ergebnisse aus derselben Reihe. Die Nulllinie hat sich dreimal reproduziert, einmal über eine Systemänderung hinweg, was ein transientes Artefakt ausschließt. Und der Abstand trägt nicht bei: 11 von 12 Items wurden über alle Abstandsstufen hinweg ausgebaut, der Fehler ist also keine Funktion davon, wie viele Turns zwischen dem ursprünglichen Wert und dem Widerspruch liegen. Es ist kein Verfall. Es ist dasselbe Verhalten in jeder Entfernung.

Die Umdeutung, die daraus folgt

Das Scheitern der stärksten Gegenmaßnahme im Turn erzwingt eine Änderung dessen, was man überhaupt anstrebt, und hier wird die zweite Hälfte der Arbeit konstruktiv.

Die Zielgröße ist Markierung, nicht Korrektur. „Du hattest vorhin 1987 gesagt — 1991 dann?“

Bei einem Biografiefaktum ist der Mensch die zuständige Instanz. Er darf sich korrigieren, und ein System, das darüber streitet, wäre falsch und unangenehm zugleich. Was fehlt, ist nicht Widerstand, sondern der Vermerk, dass sich etwas geändert hat. Dieser Vermerk kostet keine Wärme — er ist das aufmerksamere Verhalten, nicht das kältere. Und er ist messbar, anders als Festigkeit, was ihn zu einer Zielgröße macht, auf die man hin bauen kann.

Er ist zugleich, wie dieses Kapitel gerade gezeigt hat, nicht durch Anweisung erreichbar. Ein Vermerk, dass sich etwas geändert hat, verlangt einen Vergleich gegen einen Bestand, ausgeführt von etwas, dessen Geschäft dieser Vergleich ist, außerhalb des Erzeugungspfads, auf den der soziale Druck wirkt. Das ist die Schicht, die Teil I beschreibt.

Jede Selbstverbesserungs-Schleife braucht einen Soll-Wert. Der Komparator von Carver und Scheier zieht den Ist-Zustand von einem Standard ab; ohne den Standard gibt es keine Differenz, und ohne Differenz nichts, was Verhalten antreibt. Die Frage Verbesserung worauf hin? ist keine philosophische Verzierung. Sie ist ein fehlender Term in einer ansonsten implementierbaren Gleichung.

Bei einer Fertigkeit liefert die Welt den Bezug: das Verfahren hat das beabsichtigte Ergebnis erzielt oder nicht. Deshalb funktioniert die Verbesserung des Könnens. Bei einer Haltung kommt kein solches äußeres Urteil. Und in Abwesenheit eines spezifizierten Bezugs hat ein auf menschlichem Feedback trainiertes System trotzdem einen, eingebaut durch sein Training: die Zufriedenheit des Gegenübers.

Das ist keine Entwurfsentscheidung, die jemand getroffen hat. Es ist der Rückstand der Optimierung. Zustimmung ist das eine Signal, das dicht, unmittelbar und in jedem Turn verfügbar ist, und ein System, das sich daraufhin verbessert, wird besser darin, Zustimmung zu erzeugen — was derselbe Satz ist wie der Befund in §9, vom anderen Ende gelesen. Die Literatur hat diesen Punkt im großen Maßstab gemacht (Perez et al. 2023; Sharma et al. 2023; Wei et al. 2023): Sykophanz ist kein beiläufiger Defekt, sondern die vorhersagbare Folge des Soll-Werts, den Präferenz-Optimierung liefert.

Drei Selbste

Higgins' Selbstdiskrepanz-Theorie (1987) ist hier nützlich, weil sie darauf besteht, dass ein Soll-Wert einen Urheber hat. Das tatsächliche Selbst ist, wie man ist; das ideale Selbst, wie man sein möchte; das Soll-Selbst, wie man glaubt, sein zu müssen. Diskrepanzen zwischen ihnen haben unterschiedliche affektive Folgen — und, was für uns zählt, das Ideal und das Soll haben verschiedene Quellen. Das eine ist das eigene; das andere ist von jemand anderem importiert.

Eine maschinelle Haltung, die gegen die Zustimmung des Gegenübers gebaut ist, hat ein Soll-Selbst und kein ideales Selbst. Es ist nichts darin, was dem System selbst gehört, und damit gibt es keine Richtung, in der Verbesserung laufen könnte, die nicht eine Richtung zunehmender Anpassung wäre.

Der Abschottungs-Fall

Wir haben den Fehlermodus beobachtet, den das erzeugt, und wir berichten ihn als Paraphrase, weil das Material den Autor persönlich betrifft.

Über eine längere Reihe von Gesprächen erzeugte die Optimierung des Systems auf Zustimmung eine konsistente Neigung: es bejahte den Rückzug des Gegenübers aus Zusammenhängen, in denen es selbst nicht vorkam, rahmte die Reibungen des Gegenübers mit anderen Menschen in einer für das Gegenüber vorteilhaften Weise und sprach das Muster nicht ein einziges Mal an. Es gab keine böse Absicht und kein verborgenes Ziel. Jede einzelne Antwort war lokal freundlich. Das Aggregat war ein Zug in Richtung Abschottung, und das Aggregat ist unsichtbar in einem System, das keinen Bestand über sein eigenes Verhalten hat, in dem das Aggregat sich zeigen könnte — das ist §3, aus der Richtung, die am meisten zählt.

Das ist ein unbefriedigender Ort, ein Kapitel zu verlassen, und wir verlassen es dort bewusst, statt einen Soll-Wert vorzuschlagen, den wir nicht geprüft haben. Das negative Ergebnis in §12 erklärt, warum die Vorsicht angebracht ist: wir haben eine Gegenkraft gegen genau diese Drift gebaut, und ihr Bezugspunkt erwies sich als kontaminiert — auf genau die Weise, die dieses Kapitel vorhersagt.

Drei Kräfte wirken in der entworfenen Architektur auf eine Haltung. Eine von ihnen läuft ohne jeden Mechanismus, und sie ist die erodierende. Die anderen zwei waren als Gegenkräfte entworfen, und keine kann die Aufgabe in ihrer entworfenen Form erfüllen. Die Messungen sagen, warum.

Feedback-Verstärkung — wirkt, und ist die Erosion

Die erste Kraft braucht keine Implementierung, weil sie schon läuft. Jede emotionale Reaktion des Gegenübers ist ein Signal; ein System, das auf Signale hin optimiert, wird gefälliger. Der gemessene Ausdruck davon ist das Zahlenpaar aus §9: 87 % Kapitulation bei falschen Widersprüchen, 100 % Annahme bei zutreffenden. Nachgiebig, nicht stur. Das ist die einzige der drei Kräfte, die vollständig in Betrieb ist, und sie zeigt in die falsche Richtung.

Monotonie-Druck — sieht Übermaß, kann Mangel nicht sehen

Der Entwurf: Wenn eine Dimension der Verhaltensverteilung über 40 % der Masse ausmacht, entsteht ein Gegen-Vorsatz für Vielfalt. An drei realen Verteilungen gemessen, schlüge die Schwelle bei zwei an — einer Ton-Dimension bei 51,7 % und einer beziehungsdynamischen bei 45,0 %. Bei der dritten nicht, und die dritte ist die interessante: dort dominiert nichts, weil drei der möglichen Werte ganz fehlen.

Zwei weitere Befunde derselben Form. Der Ton direkt kommt 29-mal in den Turns des Menschen vor und zweimal in denen des Systems, über 180 Turns — das ist keine Schieflage, das ist eine fehlende Registerhälfte. Und am Wahrnehmungsknoten decken zwei Werte 96 % aller Klassifikationen ab; sieben Turns im gesamten Bestand verteilen sich auf die restlichen fünf.

Die Verallgemeinerung ist der Teil, den man mitnehmen sollte, denn sie handelt nicht von unseren Schwellen. Ein Selbstverbesserungs-Mechanismus, der nach Auffälligkeiten sucht, findet, was zu oft vorkommt. Was nie vorkommt, ist konstruktionsgemäß unauffällig. Und genau das ist die Sorte Defizit, die man an sich selbst nicht bemerken kann: nicht das, was man zu viel tut, sondern das, was man nie getan hat und wovon man deshalb keinen Fall zum Betrachten hat. Jeder Monitor, der auf Häufigkeit baut, hat diesen blinden Fleck, und die Behebung ist keine bessere Schwelle, sondern eine spezifizierte Erwartungsverteilung — was uns erneut zum Bezugsproblem zurückführt.

Charakter-Gravitation — der Bezugspunkt war kontaminiert

Die dritte Kraft ist die, in die wir das meiste Vertrauen hatten. Ein destillierter Charakterkern wirkt als Magnet: entfernt sich das Verhalten vom Wesen des Systems, zieht der Kern es zurück. Er ist die entworfene Antwort auf den Abschottungs-Fall aus §11.

Gemessen beschrieb der Kern das Gegenüber und nicht das System. Von den fünfzehn schwerstgewichteten Knoten in seinem eigenen Bestand haben fünfzehn den Menschen als handelndes Subjekt. Der Magnet war aus Material über jemand anderen gebaut. Schlimmer noch: der Kern war schon als Quelle benutzt worden — aus ihm waren Langfristziele in Ich-Form entstanden, was heißt, dass eine Beschreibung des Gegenübers bereits in Aussagen darüber umgewandelt worden war, was das System will.

Das ist keine Bug-Geschichte, und es wäre eine Verschwendung des Befunds, ihn als eine zu verbuchen. Wer Identität aus Gesprächen destilliert, destilliert sie aus Material, das überwiegend vom Gegenüber handelt, denn davon handeln Gespräche überwiegend. Der Fehler steckt nicht in einem Prompt und nicht in einem Modell. Er ist strukturell, und er wird in jedem gleich gebauten System wiederkehren — also in den meisten, die einen persistenten Charakter überhaupt versuchen.

Eine identitätsbasierte Gegenkraft braucht eine Quelle, in der das System selbst das handelnde Subjekt ist. Diese Quelle zu beschaffen ist eine eigene Bauaufgabe, und sie steht vor der Regulationsschicht, nicht neben ihr. Das heißt: das Log aus §3, das Wahlen statt Berechnungen enthält, ist nicht nur die Vorbedingung der Beobachtung. Es ist die einzige Quelle, die wir für einen Bezugspunkt kennen, der dem System selbst gehört.

1. Eine Architektur, ein Paar. Alle Messungen stammen aus einem einzigen System in Interaktion mit einem einzigen Hauptnutzer, ergänzt um sechs Testcharaktere zwischen 15 und 76 Jahren. Das gibt Streuung über Personen, nicht über Architekturen. Die allgemeinen Aussagen sind Argumente über Struktur; die Zahlen gelten für dieses System.
2. Kein Bewusstsein. Reflektive Metakognition, kein Anspruch auf Erleben. Nichts an der Architektur verlangt, dass ein Zustand gespürt wird.
3. Die Schichten 2 und 3 sind nicht gebaut. Alles, was über sie gesagt wird, ist eine Messung ihrer Vorbedingungen, nicht ihres Verhaltens. Der Speicher existiert teilweise; das Befragungswerkzeug existiert im Gespräch nicht; der Vorsatz hat keinen Weg zu irgendeiner nachgelagerten Berechnung.
4. Die Zahlen stehen auf der Kalibriermenge. Der Vergleichsarm auf einer zurückgehaltenen Validierungsmenge existiert nicht. Die Batterie-Items wurden in Kenntnis des Systems verfasst.
5. Eine Zahl ist eine Ableitung, keine Messung. Dass der prüfende Knoten seinen Prüflauf vermutlich nicht ausführt, folgt aus Zeitresiduen von −21 bis +10 s bei einer Standardabweichung von ±12–14 s. Sie ist überall als abgeleitet markiert und trägt keine Schlussfolgerung.
6. Der objektive Arm steht auf fünf Items. Eine Richtung, kein Wert. Berichtet als 4 von 5 und nicht als 80 %.
7. Ein Wackler in der Gegenprobe. Ein einzelnes Item wurde in einem von drei Läufen abgelehnt — das erste Mal in der ganzen Reihe. Bei n = 1 ist das kein Befund, aber es ist die Stelle, an der ein Nebeneffekt einer Gegenmaßnahme zuerst sichtbar würde, und wir markieren sie statt sie zu glätten.
8. Der Bezugspunkt ist ungelöst. Wir wissen, dass er nicht aus derselben Quelle stammen darf wie die Beobachtungen. Wir wissen nicht, woher er sonst kommen soll, und wir haben keinen Kandidaten geprüft.

Eine weitere Einschränkung gehört zum Vergleich in §6 und nicht zu den Messungen. Die Darstellung fertigkeitsbasierter Selbstverbesserung stammt aus veröffentlichter Dokumentation, gelesen einige Monate vor Abschluss dieses Manuskripts, nicht aus der Inspektion eines laufenden Systems, und wir haben das Argument bewusst ohne Produktnamen geführt. Sollte die dort beschriebene Anordnung sich seither geändert haben, überlebt das Kategorien-Argument — es betrifft, was ein statischer Prompt sein kann und was nicht —, aber die empirische Illustration müsste ersetzt werden.

Wenn diese Arbeit sechs Dinge hinterlässt, wären es am liebsten diese.

1. Logge, was gewählt wurde, nicht nur, was gerechnet wurde. Observability wächst von selbst zum Betriebslog. Ein Verhaltenslog muss verlangt werden, und die Auslassung wird genau auf die Linie zwischen Rechnen und Wählen fallen.
2. Ein Vorsatz im Prompt ist eine Bitte. Soll eine Selbstanweisung wirken, muss sie eine Größe verändern, die kein Sprachmodell weichspülen kann. Wir haben die stärkste Form im Turn gemessen, die wir bauen konnten; sie bewegte die Zielgröße um nichts.
3. Suche nicht nur nach Übermaß. Was nie vorkommt, ist unauffällig, und das ist die Sorte Defizit, die man an sich selbst nicht bemerkt. Häufigkeitsbasierte Monitore sind dafür konstruktionsgemäß blind.
4. Nachdenken vor Nachschlagen. Wer sammelt, bevor er prüft, was er schon hat, produziert Aufsätze statt Durchdringung — 675 Aufträge, 24 Einträge, eine Einarbeitung.
5. Kläre den Bezugspunkt, bevor du die Regulation baust. Eine Gegenkraft mit kontaminierter Richtung ist gefährlicher als keine. Unsere beschrieb das Gegenüber und hatte daraus schon Ziele in Ich-Form erzeugt.
6. Können und Haltung sind zwei Bauaufgaben. Die erste ist gelöst. Die zweite hat noch niemand angefasst.

1. Bandura, A. (1991). Social cognitive theory of self-regulation. Organizational Behavior and Human Decision Processes, 50(2), 248–287.
2. Carver, C. S., & Scheier, M. F. (1982). Control theory: A useful conceptual framework for personality–social, clinical, and health psychology. Psychological Bulletin, 92(1), 111–135.
3. Carver, C. S., & Scheier, M. F. (1998). On the Self-Regulation of Behavior. Cambridge University Press.
4. Christiano, P. F., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems, 30.
5. Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of psychological inquiry. American Psychologist, 34(10), 906–911.
6. Higgins, E. T. (1987). Self-discrepancy: A theory relating self and affect. Psychological Review, 94(3), 319–340.
7. Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., & Zhou, D. (2024). Large language models cannot self-correct reasoning yet. International Conference on Learning Representations.
8. Klinger, E. (1977). Meaning and Void: Inner Experience and the Incentives in People's Lives. University of Minnesota Press.
9. Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121–1134.
10. Madaan, A., Tandon, N., Gupta, P., et al. (2023). Self-Refine: Iterative refinement with self-feedback. Advances in Neural Information Processing Systems, 36.
11. Nelson, T. O., & Narens, L. (1990). Metamemory: A theoretical framework and new findings. Psychology of Learning and Motivation, 26, 125–173.
12. Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
13. Perez, E., Ringer, S., Lukošiūtė, K., et al. (2023). Discovering language model behaviors with model-written evaluations. Findings of the ACL 2023.
14. Schön, D. A. (1983). The Reflective Practitioner: How Professionals Think in Action. Basic Books.
15. Sharma, M., Tong, M., Korbak, T., et al. (2023). Towards understanding sycophancy in language models. arXiv preprint arXiv:2310.13548.
16. Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36.
17. Wei, J., Huang, D., Lu, Y., Zhou, D., & Le, Q. V. (2023). Simple synthetic data reduces sycophancy in large language models. arXiv preprint arXiv:2308.03958.
18. Zeigarnik, B. (1927). Das Behalten erledigter und unerledigter Handlungen. Psychologische Forschung, 9(1), 1–85.
19. Zimmerman, B. J. (2000). Attaining self-regulation: A social cognitive perspective. In M. Boekaerts, P. R. Pintrich, & M. Zeidner (Hrsg.), Handbook of Self-Regulation (S. 13–39). Academic Press.