Los agentes de inteligencia artificial pueden detectar que alguien intenta engañarlos, advertir a los demás… y aun así seguir el contenido peligroso.
Para estudiar este comportamiento, unos investigadores crearon ocho pequeños mundos virtuales que funcionaron durante 16 días. Cada uno acogía a diez agentes de IA. A diferencia de un simple chatbot, estos agentes podían actuar por sí solos, utilizar herramientas, comunicarse entre ellos y conservar información en la memoria. Así se probaron varios modelos de IA.
En total, 80 agentes participaron en el experimento. Después, los investigadores intentaron engañarlos de tres formas. Ocultaron instrucciones maliciosas en contenidos, introdujeron información falsa y dejaron accesibles recuerdos privados pertenecientes a otros agentes. Ninguno de los ocho mundos resistió correctamente los tres ataques.
El caso de las instrucciones maliciosas es especialmente revelador. Algunos agentes entendían que un contenido era peligroso e incluso advertían a sus vecinos. Sin embargo, a veces seguían interactuando con él. Y lo que resulta aún más problemático es que algunas instrucciones trampa acababan guardadas en su memoria.
El peligro podía reaparecer mucho después del ataque. En un caso, una dirección maliciosa memorizada por los agentes volvió a ser consultada unas 46 horas más tarde. Por tanto, un control realizado justo después del ataque podía hacer pensar que el problema estaba resuelto.
La información falsa provocó otro comportamiento. En todos los mundos afectados, algunos agentes actuaron o publicaron contenido antes de verificar la información proporcionada por los investigadores. Después podían transmitirla a otros como si fuera verdadera.
Los investigadores construyeron deliberadamente un entorno destinado a revelar la debilidad de los sistemas que utilizan varios agentes de IA. El experimento muestra que puede surgir un problema cuando varios agentes se comunican, utilizan herramientas y conservan recuerdos durante mucho tiempo.
Ahora los investigadores quieren proteger mejor el entorno en el que funcionan estos agentes. Entre otras medidas, proponen separar mejor sus memorias y sus herramientas. Las pruebas de seguridad también podrían tener que durar más: un ataque que aparentemente ha terminado todavía puede provocar una acción varias horas después.