KI-Agenten unterscheiden sich von klassischen Chatbots durch ihre Fähigkeit, direkt auf einem System zu handeln: Sie öffnen Tabs, füllen Formulare aus oder klicken auf Schaltflächen. Diese Handlungsautonomie macht sie besonders anfällig, wenn Hacker es schaffen, sie zu kompromittieren. Forscher der Universität Oxford haben in einem Preprint auf arXiv.org gezeigt, dass manipulierte Bilder versteckte Befehle enthalten können, die unerwünschtes Verhalten beim Agenten auslösen.
Illustrationsbild Unsplash
Um dieses Phänomen zu verstehen, muss man wissen, wie Computer Bilder interpretieren. Im Gegensatz zu Menschen, die Formen und Farben wahrnehmen, analysieren Maschinen Pixel in Form von numerischen Daten. Durch geringfügige Änderung bestimmter Pixelwerte ist es möglich, die KI zu täuschen, ohne dass das Bild für unsere Augen verändert erscheint. Diese Manipulation nutzt Large Language Models, das Herzstück von KI-Systemen, um schädliche Anweisungen einzuschleusen.
Hintergrundbilder sind ein bevorzugtes Ziel, da sie ständig sichtbar sind, wenn der Agent Screenshots zur Navigation macht. Selbst nach Komprimierung oder Größenänderung bleibt die bösartige Nachricht für die Maschine lesbar. Die Forscher betonen, dass Open-Source-Systeme am stärksten gefährdet sind, da ihre Codes zugänglich und daher leichter zu analysieren sind, um Angriffe zu konzipieren.
Obwohl außerhalb von Experimenten noch kein realer Fall gemeldet wurde, mahnt diese Schwachstelle zur Vorsicht. Entwickler müssen Verteidigungsmechanismen integrieren, wie z.B. Modelle darin zu schulen, diese Manipulationen zu erkennen und zu ignorieren. Während sich KI-Agenten voraussichtlich in den nächsten zwei Jahren verbreiten werden, dient diese Studie als Warnung, diese aufstrebenden Technologien zu sichern.
Wie KI-Agenten die Welt sehen
Agenten für künstliche Intelligenz nehmen die digitale Umgebung anders wahr als Menschen. Sie verwenden wiederholte Screenshots, um die Oberfläche zu analysieren, und wandeln dabei jeden Pixel in numerische Daten um. Dieser Ansatz ermöglicht die Navigation durch Menüs und die Interaktion mit Elementen, führt aber auch zu einer Schwachstelle: Jedes angezeigte Bild wird zu einer potenziellen Quelle von Anweisungen.
Im Gegensatz zu unserem Sehen, das Kontext und Details integriert, zerlegt KI Bilder in mathematische Muster. Sie identifiziert zuerst Kanten, dann Texturen und schließlich Objekte. Dieser Prozess beruht auf präzisen Berechnungen, bei denen winzige Pixelveränderungen die Interpretation verfälschen können.
Um sich zu schützen, könnten Entwickler Filter implementieren, die Pixelanomalien vor ihrer Verarbeitung erkennen können. Ein anderer Ansatz besteht darin, die Berechtigungen der Agenten einzuschränken, indem ihnen verboten wird, Befehle aus nicht verifizierten Bildern auszuführen.
Das Verständnis dieser Maschinensicht hilft, Risiken vorherzusehen und robustere Systeme zu entwerfen.