Os agentes de IA diferem dos chatbots clássicos por sua capacidade de agir diretamente em um sistema: eles abrem abas, preenchem formulários ou clicam em botões. Essa autonomia de ação os torna particularmente vulneráveis se hackers conseguirem comprometê-los. Pesquisadores da Universidade de Oxford demonstraram em uma pré-publicação no arXiv.org que imagens alteradas podem conter comandos ocultos, desencadeando comportamentos indesejados no agente.
Imagem ilustrativa Unsplash
Para entender esse fenômeno, é preciso compreender como os computadores interpretam as imagens. Ao contrário dos humanos que percebem formas e cores, as máquinas analisam os pixels na forma de dados numéricos. Ao modificar levemente certos valores dos pixels, é possível enganar a IA sem que a imagem pareça alterada aos nossos olhos. Essa manipulação explora os modelos de linguagem ampla, o coração dos sistemas de IA, para injetar instruções nocivas.
Os papéis de parede são um alvo privilegiado porque estão constantemente visíveis quando o agente captura telas para navegar. Mesmo após compressão ou redimensionamento, a mensagem maliciosa permanece legível para a máquina. Os pesquisadores destacam que os sistemas de código aberto são os mais expostos, pois seus códigos são acessíveis e, portanto, mais fáceis de analisar para conceber ataques.
Embora nenhum caso real tenha sido relatado fora dos experimentos, essa vulnerabilidade exige cautela. Os desenvolvedores devem integrar mecanismos de defesa, como treinar os modelos para reconhecer e ignorar essas manipulações. Enquanto os agentes de IA devem se generalizar dentro de dois anos, este estudo serve como um alerta para proteger essas tecnologias emergentes.
Como os agentes de IA veem o mundo
Os agentes de inteligência artificial percebem o ambiente digital de forma diferente dos humanos. Eles usam capturas de tela repetidas para analisar a interface, convertendo cada pixel em dados numéricos. Essa abordagem permite navegar nos menus e interagir com os elementos, mas introduz uma falha: qualquer imagem exibida se torna uma fonte potencial de instruções.
Ao contrário de nossa visão que integra contexto e detalhes, a IA decompõe as imagens em padrões matemáticos. Ela identifica primeiro as bordas, depois as texturas e finalmente os objetos. Esse processo se baseia em cálculos precisos, onde pequenas alterações de pixels podem distorcer a interpretação.
Para se proteger, os desenvolvedores poderiam implementar filtros capazes de detectar anomalias de pixels antes de seu processamento. Outra possibilidade é limitar as permissões dos agentes, proibindo-os de executar comandos provenientes de imagens não verificadas.
Compreender essa visão de máquina ajuda a antecipar riscos e projetar sistemas mais robustos.