Les grands modèles de langage semblent répartir certaines tâches entre des groupes de neurones artificiels distincts, d'une manière qui rappelle l'organisation du cerveau humain.
Pour comprendre ce résultat, il faut regarder sous le capot des systèmes d'intelligence artificielle. Un grand modèle de langage contient de très nombreux éléments de calcul appelés neurones artificiels. Ils transforment progressivement les informations reçues pour produire une réponse. Les chercheurs ont cherché à savoir si tous participaient indifféremment aux mêmes tâches.
L'équipe a analysé 46 tâches réparties en quatre familles. Certaines concernaient le langage, d'autres le raisonnement formel, les relations sociales ou la compréhension du monde physique. Les scientifiques ont ensuite repéré quels neurones artificiels intervenaient le plus dans chaque activité.
Un schéma net est apparu. Deux tâches appartenant à la même famille mobilisaient davantage de neurones communs. À l'inverse, des activités appartenant à des domaines différents faisaient plus souvent intervenir des groupes distincts. Cette séparation forme ce que les chercheurs appellent une organisation modulaire.
Le rapprochement avec le cerveau vient de là . Chez l'humain, plusieurs réseaux cérébraux sont davantage sollicités selon l'activité réalisée. Le traitement du langage ne repose donc pas exactement sur les mêmes réseaux que certaines formes de raisonnement social. L'étude retrouve une séparation comparable dans les modèles testés, malgré leur fonctionnement très différent.
Les auteurs constatent aussi que les tâches associées à un même réseau chez l'humain tendent à partager davantage de neurones dans les modèles.
Ce résultat intéresse les chercheurs pour une autre raison. Les modèles étudiés n'ont pas été construits en leur attribuant volontairement une zone pour le langage et une autre pour la physique. Cette spécialisation apparaît au cours de leur entraînement. Elle pourrait donc être une manière efficace d'organiser le traitement de tâches différentes.
L'étude reste toutefois une analyse de modèles informatiques, et le parallèle avec le cerveau porte sur leur organisation fonctionnelle. Les auteurs proposent désormais d'examiner plus finement pourquoi cette séparation apparaît et si elle se retrouve dans d'autres architectures d'intelligence artificielle.