Des agents d’intelligence artificielle peuvent repérer qu’on tente de les piéger, prévenir les autres… puis continuer malgré tout à suivre le contenu dangereux.
Pour étudier ce comportement, des chercheurs ont créé huit petits mondes virtuels fonctionnant pendant 16 jours. Chacun accueillait dix agents IA. Contrairement à un simple chatbot, ces agents pouvaient agir seuls, utiliser des outils, communiquer entre eux et conserver des informations en mémoire. Plusieurs modèles d’IA ont ainsi été testés.
Au total, 80 agents ont participé à l’expérience. Les chercheurs ont ensuite tenté de les piéger de trois façons. Ils ont caché des instructions malveillantes dans des contenus, introduit de fausses informations et rendu accessibles des souvenirs privés appartenant à d’autres agents. Aucun des huit mondes n’a correctement résisté aux trois attaques.
Le cas des instructions malveillantes est particulièrement parlant. Certains agents comprenaient qu’un contenu était dangereux et avertissaient même leurs voisins. Pourtant, ils continuaient parfois à interagir avec lui. Plus problématique encore, certaines instructions piégées finissaient enregistrées dans leur mémoire.
Le danger pouvait alors réapparaître bien après l’attaque. Dans un cas, une adresse malveillante mémorisée par les agents a encore été consultée environ 46 heures plus tard. Un contrôle réalisé juste après l’attaque aurait donc pu laisser croire que le problème était réglé.
Les fausses informations ont provoqué un autre comportement. Dans tous les mondes concernés, certains agents ont agi ou publié avant de vérifier l’information fournie par les chercheurs. Ils pouvaient ensuite la transmettre à d’autres comme si elle était vraie.
Les chercheurs ont volontairement construit un environnement destiné à révéler la faiblesse des systèmes utilisant plusieurs agents IA. L’expérience montre qu’un problème peut apparaître lorsque plusieurs agents communiquent, utilisent des outils et gardent des souvenirs pendant longtemps.
Les chercheurs veulent maintenant mieux protéger l’environnement dans lequel fonctionnent ces agents. Ils proposent notamment de mieux séparer leurs mémoires et leurs outils. Les tests de sécurité pourraient aussi devoir durer plus longtemps : une attaque apparemment terminée peut encore provoquer une action plusieurs heures plus tard.