Forschenden ist es gelungen, die Antwort einer KI zu verändern, ohne die Frage zu berühren, die sie erhalten hatte.
Das Experiment beginnt mit einer Rechnung: −2 + 3 × −4. Die KI sollte normalerweise −14 antworten. Doch die Forschenden erhalten −34, als wäre die 3 durch eine 8 ersetzt worden. Sie haben nicht die Frage verändert, sondern direkt in das «Gehirn» der KI eingegriffen.
Wie ist das möglich? Wenn eine künstliche Intelligenz einen Satz oder eine Rechnung liest, wandelt sie Wörter und Zahlen in numerische Werte um. Diese Werte zirkulieren anschließend durch ihr Netzwerk, um die Antwort vorzubereiten. Das Problem ist, dass es weiterhin schwierig ist, genau zu erkennen, welche Information sich in dieser Ansammlung von Zahlen verbirgt.
Die Forschenden haben daher eine Methode namens DISCOVER entwickelt. Sie ermöglicht es ihnen, einen Teil der Organisation dieser Informationen wiederzufinden. Insbesondere können sie ein Element von seiner Rolle in einem Satz oder einer Rechnung unterscheiden. Im Satz «Die Katze verfolgt den Hund» ist die Katze beispielsweise diejenige, die verfolgt, und nicht diejenige, die verfolgt wird.
Nachdem sie diese Organisation erkannt hatten, versuchten sie, bestimmte Elemente zu verändern. In der Rechnung ersetzten sie die Repräsentation der Ziffer 3 durch die der Ziffer 8. Die KI lieferte daraufhin das Ergebnis der entsprechenden neuen Rechnung, obwohl sie den ursprünglichen Text erhalten hatte.
Der gleiche Ansatz funktioniert auch mit Sätzen. Die Forschenden können beispielsweise ein Adjektiv von einer Figur auf eine andere übertragen. Die KI verhält sich dann so, als hätte sie einen anderen Satz gelesen. Diese Versuche zeigen, dass sie nicht nur die Wörter speichert: Sie scheint auch eine Spur ihrer Beziehungen zu bewahren.
Die Forschenden testeten 31 Arten von Veränderungen am Modell GPT-OSS, mit Aufgaben zu Rechnen, Logik, Programmierung und Sprache. Die Antworten veränderten sich im Durchschnitt in 90,3 % der Fälle wie erwartet. Dieses Ergebnis deutet darauf hin, dass die Methode einen nützlichen Teil der inneren Funktionsweise des Modells erfasst.
Es bleibt jedoch noch viel zu verstehen. Diese Experimente betreffen klar definierte Aufgaben und ermöglichen es nicht, alle «Gedanken» einer KI zu lesen. Die Studie ist noch ein wissenschaftliches Preprint. Die Forschenden wollen nun herausfinden, ob diese Methode auch dabei helfen kann, die Fehler der Modelle zu verstehen.