Restez toujours informé: suivez-nous sur Google Actualités (icone ☆)
Image d'illustration Pixabay
Des scientifiques de l'Université Radboud aux Pays-Bas ont mis au point une IA capable de recréer des images vues par des personnes en analysant leur activité cérébrale. Les résultats de leur étude, prépubliés dans bioRxiv, révèlent une précision remarquable dans la reconstruction des images mentales. Ce résultat repose sur des données obtenues à partir de deux études distinctes.
Dans la première étude, des volontaires ont été soumis à une imagerie par résonance magnétique fonctionnelle (IRMf) pendant qu'ils regardaient des photographies. La seconde étude a impliqué un macaque dont l'activité cérébrale a été enregistrée à l'aide d'électrodes implantées alors qu'il observait des images générées par IA. Les données issues de ces expériences ont été utilisées pour entraîner l'IA à reconstruire les images originales.
L'IA employée intègre des mécanismes d'attention prédictifs (PAM) permettant de cibler les signaux cérébraux les plus pertinents. En traitant ces signaux avec un réseau antagoniste génératif, l'IA parvient à créer des images visuellement proches des originales. Les meilleurs résultats ont été obtenus avec les images vues par le macaque, dont l'activité cérébrale, enregistrée directement par les électrodes, est plus précise que les données IRMf, souvent perturbées par du bruit.
Umut Güçlü, l'un des chercheurs principaux, souligne que ces reconstructions sont les plus précises jamais réalisées à ce jour. Il explique que l'IA, en interprétant les signaux cérébraux, apprend à focaliser son attention sur les aspects essentiels pour reconstruire les images vues. La capacité à recréer fidèlement ce que perçoit un individu pourrait ouvrir la voie à des implants cérébraux plus avancés, permettant de restaurer la vue de manière plus naturelle.
Résultats de la reconstruction.
Le bloc supérieur montre dix exemples tirés du jeu de données B2G (stimuli générés par GAN), et le bloc inférieur dix exemples du jeu de données GOD (stimuli naturels). Les premières rangées présentent les stimuli originaux, les rangées du milieu les reconstructions par le modèle PAM (P), et les dernières rangées les reconstructions par le décodeur linéaire (L).
Les applications potentielles de cette technologie sont vastes. En plus de la restauration de la vision, cette avancée pourrait transformer la communication pour les personnes atteintes de déficiences visuelles et améliorer les interfaces neuronales. Selon les chercheurs, les progrès rapides dans le domaine de la modélisation générative pourraient encore améliorer la précision des reconstructions visuelles dans un avenir proche.