Große Sprachmodelle scheinen bestimmte Aufgaben auf Gruppen unterschiedlicher künstlicher Neuronen zu verteilen – auf eine Weise, die an die Organisation des menschlichen Gehirns erinnert.
Um dieses Ergebnis zu verstehen, muss man unter die Haube der Systeme künstlicher Intelligenz schauen. Ein großes Sprachmodell enthält sehr viele Rechenelemente, die als künstliche Neuronen bezeichnet werden. Sie verarbeiten die eingehenden Informationen schrittweise, um eine Antwort zu erzeugen. Die Forschenden wollten herausfinden, ob alle Neuronen unterschiedslos an denselben Aufgaben beteiligt sind.
Das Team analysierte 46 Aufgaben aus vier Kategorien. Einige betrafen Sprache, andere formales Denken, soziale Beziehungen oder das Verständnis der physischen Welt. Anschließend ermittelten die Wissenschaftler, welche künstlichen Neuronen bei den einzelnen Aktivitäten am stärksten beteiligt waren.
Dabei zeigte sich ein klares Muster. Zwei Aufgaben aus derselben Kategorie griffen stärker auf gemeinsame Neuronen zurück. Umgekehrt bezogen Aktivitäten aus unterschiedlichen Bereichen häufiger verschiedene Gruppen ein. Diese Trennung bildet das, was die Forschenden als modulare Organisation bezeichnen.
Daher kommt auch der Vergleich mit dem Gehirn. Beim Menschen werden je nach ausgeführter Aktivität verschiedene Gehirnnetzwerke stärker beansprucht. Die Sprachverarbeitung beruht daher nicht genau auf denselben Netzwerken wie bestimmte Formen sozialen Denkens. Die Studie findet bei den getesteten Modellen eine vergleichbare Trennung – trotz ihrer sehr unterschiedlichen Funktionsweise.
Die Autoren stellen außerdem fest, dass Aufgaben, die beim Menschen mit demselben Netzwerk verbunden sind, in den Modellen tendenziell mehr Neuronen gemeinsam nutzen.
Dieses Ergebnis interessiert die Forschenden noch aus einem anderen Grund. Die untersuchten Modelle wurden nicht so entwickelt, dass ihnen absichtlich ein Bereich für Sprache und ein anderer für Physik zugewiesen wurde. Diese Spezialisierung entsteht während ihres Trainings. Sie könnte daher eine effiziente Möglichkeit sein, die Verarbeitung unterschiedlicher Aufgaben zu organisieren.
Die Studie bleibt jedoch eine Analyse von Computermodellen, und der Vergleich mit dem Gehirn bezieht sich auf ihre funktionale Organisation. Die Autoren wollen nun genauer untersuchen, warum diese Trennung entsteht und ob sie auch bei anderen Architekturen künstlicher Intelligenz zu finden ist.