KI-Agenten können erkennen, dass jemand versucht, sie zu täuschen, andere warnen … und trotzdem weiterhin den gefährlichen Inhalten folgen.
Um dieses Verhalten zu untersuchen, schufen Forschende acht kleine virtuelle Welten, die 16 Tage lang liefen. In jeder lebten zehn KI-Agenten. Anders als ein einfacher Chatbot konnten diese Agenten selbstständig handeln, Werkzeuge nutzen, miteinander kommunizieren und Informationen im Gedächtnis speichern. Dabei wurden mehrere KI-Modelle getestet.
Insgesamt nahmen 80 Agenten an dem Experiment teil. Anschließend versuchten die Forschenden, sie auf drei Arten zu täuschen. Sie versteckten bösartige Anweisungen in Inhalten, führten falsche Informationen ein und machten private Erinnerungen anderer Agenten zugänglich. Keine der acht Welten widerstand allen drei Angriffen erfolgreich.
Besonders aufschlussreich ist der Fall der bösartigen Anweisungen. Einige Agenten erkannten, dass ein Inhalt gefährlich war, und warnten sogar ihre Nachbarn. Trotzdem interagierten sie manchmal weiterhin damit. Noch problematischer war, dass manche manipulierten Anweisungen schließlich in ihrem Gedächtnis gespeichert wurden.
Die Gefahr konnte dann lange nach dem Angriff wieder auftauchen. In einem Fall wurde eine von den Agenten gespeicherte bösartige Adresse etwa 46 Stunden später erneut aufgerufen. Eine unmittelbar nach dem Angriff durchgeführte Kontrolle hätte daher den Eindruck erwecken können, das Problem sei gelöst.
Die falschen Informationen führten zu einem anderen Verhalten. In allen betroffenen Welten handelten oder veröffentlichten einige Agenten, bevor sie die von den Forschenden bereitgestellte Information überprüften. Anschließend konnten sie diese an andere weitergeben, als wäre sie wahr.
Die Forschenden konstruierten bewusst eine Umgebung, die Schwachstellen von Systemen mit mehreren KI-Agenten sichtbar machen sollte. Das Experiment zeigt, dass ein Problem entstehen kann, wenn mehrere Agenten miteinander kommunizieren, Werkzeuge nutzen und über lange Zeit Erinnerungen behalten.
Nun wollen die Forschenden die Umgebung, in der diese Agenten arbeiten, besser schützen. Sie schlagen unter anderem vor, ihre Erinnerungen und Werkzeuge stärker voneinander zu trennen. Auch Sicherheitstests müssten möglicherweise länger dauern: Ein scheinbar abgeschlossener Angriff kann noch Stunden später eine Handlung auslösen.