Agentes de inteligência artificial podem perceber que alguém tenta enganá-los, avisar os outros… e ainda assim continuar seguindo o conteúdo perigoso.
Para estudar esse comportamento, pesquisadores criaram oito pequenos mundos virtuais que funcionaram durante 16 dias. Cada um abrigava dez agentes de IA. Ao contrário de um simples chatbot, esses agentes podiam agir sozinhos, usar ferramentas, comunicar-se entre si e guardar informações na memória. Vários modelos de IA foram testados dessa forma.
Ao todo, 80 agentes participaram do experimento. Em seguida, os pesquisadores tentaram enganá-los de três maneiras. Eles esconderam instruções maliciosas em conteúdos, introduziram informações falsas e tornaram acessíveis memórias privadas pertencentes a outros agentes. Nenhum dos oito mundos resistiu corretamente aos três ataques.
O caso das instruções maliciosas é particularmente revelador. Alguns agentes entendiam que um conteúdo era perigoso e até alertavam seus vizinhos. Ainda assim, às vezes continuavam interagindo com ele. Mais problemático ainda, algumas instruções maliciosas acabavam sendo armazenadas na memória deles.
O perigo podia reaparecer muito tempo depois do ataque. Em um caso, um endereço malicioso memorizado pelos agentes voltou a ser consultado cerca de 46 horas depois. Um controle realizado logo após o ataque poderia, portanto, dar a impressão de que o problema estava resolvido.
As informações falsas provocaram outro comportamento. Em todos os mundos envolvidos, alguns agentes agiram ou publicaram algo antes de verificar a informação fornecida pelos pesquisadores. Depois, podiam transmiti-la a outros como se fosse verdadeira.
Os pesquisadores construíram deliberadamente um ambiente destinado a revelar a fragilidade dos sistemas que utilizam vários agentes de IA. O experimento mostra que um problema pode surgir quando vários agentes se comunicam, usam ferramentas e mantêm memórias por muito tempo.
Agora, os pesquisadores querem proteger melhor o ambiente no qual esses agentes funcionam. Eles propõem, entre outras medidas, separar melhor suas memórias e ferramentas. Os testes de segurança também talvez precisem durar mais: um ataque aparentemente encerrado ainda pode provocar uma ação várias horas depois.