Symbolbild von Pixabay
Wissenschaftler der Radboud-Universität in den Niederlanden haben eine KI entwickelt, die in der Lage ist, Bilder, die von Personen gesehen werden, durch die Analyse ihrer Gehirnaktivität nachzubilden. Die Ergebnisse ihrer Studie, die in bioRxiv vorveröffentlicht wurden, zeigen eine bemerkenswerte Genauigkeit bei der Rekonstruktion mentaler Bilder. Dieses Ergebnis basiert auf Daten, die aus zwei separaten Studien gewonnen wurden.
In der ersten Studie wurden Freiwillige einer funktionellen Magnetresonanztomographie (fMRT) unterzogen, während sie Fotografien betrachteten. Die zweite Studie bezog sich auf einen Makaken, dessen Gehirnaktivität mithilfe von implantierten Elektroden erfasst wurde, während er von KI erzeugte Bilder betrachtete. Die aus diesen Experimenten gewonnenen Daten wurden zur Schulung der KI verwendet, um die Originalbilder zu rekonstruieren.
Die verwendete KI integriert prädiktive Aufmerksamkeitsmechanismen (PAM), die darauf abzielen, die relevantesten Gehirnsignale zu identifizieren. Durch die Verarbeitung dieser Signale mit einem generativen gegnerischen Netzwerk kann die KI Bilder erstellen, die den Originalen visuell nahekommen. Die besten Ergebnisse wurden mit den vom Makaken gesehenen Bildern erzielt, dessen Gehirnaktivität, die direkt durch die Elektroden aufgezeichnet wurde, präziser ist als die oft durch Rauschen gestörten fMRT-Daten.
Umut Güçlü, einer der Hauptforscher, betont, dass diese Rekonstruktionen die genauesten sind, die bisher erreicht wurden. Er erklärt, dass die KI, indem sie die Gehirnsignale interpretiert, lernt, ihre Aufmerksamkeit auf die wesentlichen Aspekte zu richten, um die gesehenen Bilder zu rekonstruieren. Die Fähigkeit, das, was eine Person wahrnimmt, getreu nachzubilden, könnte den Weg für fortschrittlichere Gehirnimplantate ebnen, die eine natürlichere Wiederherstellung des Sehens ermöglichen.
Ergebnisse der Rekonstruktion.
Der obere Block zeigt zehn Beispiele aus dem B2G-Datensatz (durch GAN generierte Stimuli), und der untere Block zehn Beispiele aus dem GOD-Datensatz (natürliche Stimuli). Die oberen Reihen zeigen die Originalstimuli, die mittleren Reihen die Rekonstruktionen durch das PAM-Modell (P), und die unteren Reihen die Rekonstruktionen durch den linearen Dekoder (L).
Die potenziellen Anwendungen dieser Technologie sind vielfältig. Neben der Wiederherstellung des Sehens könnte dieser Fortschritt die Kommunikation für Personen mit Sehbeeinträchtigungen revolutionieren und neuronale Schnittstellen verbessern. Laut den Forschern könnten rasche Fortschritte im Bereich der generativen Modellierung die Genauigkeit der visuellen Rekonstruktionen in naher Zukunft weiter verbessern.