Ver mas não acreditar: o impacto dos deepfakes na nossa percepção da realidade 👀

Por Stéphanie Gauttier & Sylvie Blanco - Grenoble École de Management (GEM)

As manipulações realizadas por meio de inteligências artificiais distorcem nossa visão da realidade, afetando nossos comportamentos como consumidores e cidadãos.


Em 2022, uma televisão ucraniana, hackeada, transmitiu um hipertrucamento (ou deepfake) do presidente ucraniano Zelensky anunciando que ele estava rendendo as armas, o que poderia ter transformado a realidade do campo de batalha.

Em maio de 2023, uma imagem representando o Pentágono com uma nuvem de fumaça causou uma queda de 0,29% nos índices do S&P500, exigindo um desmentido oficial do secretário de Defesa dos Estados Unidos.

Em Hong Kong, um funcionário transferiu 25 milhões de dólares pensando estar seguindo ordens dos diretores de sua empresa, com quem ele havia tido uma videoconferência. Na realidade, ele nunca havia falado com nenhum ser humano.

Essas imagens são deepfakes, ou seja, conteúdos ultra-realistas que não representam a realidade, ou até mesmo a alteram, e que podem distorcer nossa visão do mundo.

Esses hipertrucamentos — imagens, vídeos e até conteúdos interativos — envolvem nossa audição, visão e participação. Eles são criados sobrepondo dados irreais a imagens reais, graças a algoritmos de machine learning combinados com softwares de mapeamento facial, e podem se tornar ainda mais eficazes com a inteligência artificial generativa.

Assim, algumas ferramentas como o Speechify, democratizadas online, permitem que alguém diga qualquer coisa se você tiver uma gravação de 30 segundos de sua voz. Os conteúdos criados são tão realistas que podem enganar até mesmo aqueles que acreditam ser capazes de detectá-los, tornando difícil distinguir o verdadeiro do falso.


Hoje, ver não é mais acreditar: imagens, vídeos e outros conteúdos fabricados podem ser indistinguíveis dos conteúdos autênticos. Esse fenômeno apresenta sérios desafios para a sociedade.

Manipular os consumidores: dos padrões de beleza à hegemonia cultural

As imagens de modelos usadas em campanhas publicitárias de grandes marcas são geradas por sistemas de inteligência artificial. Elas transmitem uma certa ideia de beleza e padrões estéticos muitas vezes inatingíveis no mundo real.

Além de uma estética que poderia simplesmente caracterizar os conteúdos gerados e modificados por inteligência artificial, os modelos e influenciadores artificiais criados por hipertrucamentos buscam se inserir no mundo real como se fossem humanos. Incognito Influencer, um influenciador virtual hipertrucado, apareceu nas imagens de todas as fashion weeks em 2023, embora ninguém o tenha visto pessoalmente. Aitana Lopez, uma modelo hipertrucada, possui suas próprias redes sociais.

Nesses casos, não se trata de gerar uma imagem "perfeita" para vender um produto, mas de criar uma personalidade virtual para influenciar humanos no mundo físico.

Não há limites para o que se pode fazer com esses agentes hipertrucados, já que eles não existem. Nesse sentido, os hipertrucamentos podem transmitir modelos de vida cotidiana irreais, que podem aumentar o mal-estar daqueles que buscam os mesmos estilos de vida.

Nesse contexto, a pesquisa em marketing considera que os hipertrucamentos são diferentes dos mecanismos tradicionais de publicidade. As imagens hipertrucadas podem ser tão inspiradoras que os indivíduos podem acreditar nelas diretamente, sem tentar compreendê-las profundamente. Quanto mais ricos forem os hipertrucamentos (por exemplo, transmitindo informações além de uma simples fotografia, mas por meio de um conteúdo de vídeo), mais os consumidores tendem a querer comprar os produtos relacionados.

No entanto, isso não significa que as marcas não devam estabelecer limites: os consumidores que não detectaram o hipertrucamento, mas descobrem que foram enganados, tendem a ter menos vontade de comprar produtos dessa marca.

Por fim, as ferramentas de inteligência artificial usadas para gerar hipertrucamentos refletem e amplificam os vieses de nossas sociedades. Por exemplo, há oito anos, uma IA convidada para julgar um concurso de beleza discriminou pessoas de pele negra.

Hoje, o mecanismo de busca do Bing ainda mostra quase exclusivamente bebês caucasianos de olhos azuis ao pesquisar por imagens de "bebês bonitos". Isso sugere que os influenciadores virtuais hipertrucados podem apresentar apenas certas etnias e visões de beleza como "inspiradoras" estética e socialmente.

Os hipertrucamentos podem abalar a vida política

Homens e mulheres políticas podem ser alvo de paródias modernas graças aos hipertrucamentos. Em 2023, Clad 3815 fez líderes políticos franceses aparecerem em seu canal da Twitch em uma sessão interativa na forma de hipertrucamento, com fins de entretenimento.

No entanto, o conteúdo gerado por IA, se não for anunciado como tal, pode ser manipulador, pois dá a entender que mostra a realidade quando não é o caso.

Por exemplo, no Ano Novo de 2024, um membro do partido presidencial francês divulgou um hipertrucamento no X representando Marine Le Pen desejando feliz ano novo em russo, sem indicar que se tratava de uma montagem, o que pode afetar a visão que se tem de Marine Le Pen e, ou, parecer divertido em relação aos debates sobre a posição de seu partido político em relação à Rússia.

Os hipertrucamentos políticos afetam efetivamente nossa visão do mundo: experimentos mostraram que os deepfakes podem convencer até 50% do público americano de escândalos que nunca aconteceram.

Mas nem todos somos iguais diante dessas manipulações. Por exemplo, indivíduos mais interessados em política serão mais capazes de detectar esses hipertrucamentos do que outros, o que pode ser explicado por seu conhecimento geral de informações políticas, sua competência em analisá-las e sua maior exposição a esse tipo de conteúdo.

Por outro lado, aqueles que não reconhecem esses hipertrucamentos podem ter suas opiniões políticas afetadas. De fato, uma vez que um indivíduo é exposto a um deepfake que representa um político, a opinião que ele tem desse político tende a se deteriorar, enquanto sua opinião sobre o partido político representado não muda. Se o hipertrucamento for apresentado a indivíduos que já têm uma má opinião do partido político representado, sua visão se torna mais negativa tanto em relação ao partido quanto ao político em questão após ver o hipertrucamento. Isso significa que os hipertrucamentos podem ser usados para manipular opiniões com campanhas de exibição direcionada.

Inteligência artificial generativa: rumo a usos responsáveis

Se formos otimistas, podemos pensar que a inteligência artificial generativa permite criar conteúdos educativos, como vídeos de personagens históricos contando a história de forma cativante ou reconstituir eventos históricos.

Ela também pode permitir o surgimento de novos serviços. Alguns exploram a ideia de usá-la para acompanhar pessoas em luto. A diferença entre um hipertrucamento e um simples uso da inteligência artificial generativa é feita com base no objetivo da geração do conteúdo: o hipertrucamento está ligado à ideia de enganar e manipular. Se usos responsáveis da inteligência artificial generativa são possíveis, é importante promovê-los e regular possíveis desvios.

Nesse sentido, a reflexão sobre a regulamentação dos hipertrucamentos foi levantada já em 2019 na Assembleia Nacional francesa, e as partes interessadas estão se responsabilizando: as imagens geradas por IA no Google são marcadas desde 2023, uma técnica que a empresa aplicou em 2024 a seus conteúdos de vídeo, especialmente aqueles criados no Gemini e por meio de seus chatbots. Em 2023, o Twitch anunciou a proibição da difusão de deepfakes de caráter pornográfico. Em 2024, a Califórnia aprovou uma lei contra a geração de hipertrucamentos no contexto de eleições.

Este artigo segue a publicação do livro branco "IA generativa e hipertrucamentos" para a região de Auvergne Rhône Alpes. O livro branco foi coordenado por P. Wieczorek e S. Blanco. Recebeu contribuições de L. Bisognin, S. Blanco, T. Fournel, D. Gal-Regniez, S. Gauttier, S. Guicherd, A. Habrard, E. Heidsieck, E. Jouseau, S. Miguet, I. Tkachenko, K. Wang e P. Wieczorek.