Des états émotionnels rendus audibles

L'interaction entre le cerveau, les neurones et l'ordinateur (Brain-neural computer interface ou BNCI) est un domaine de recherche et de développement en pleine croissance.

Imaginez un appareil qui vous informe sur la façon dont vos émotions et votre état cognitif affectent vos signes physiologiques, afin que vous adaptiez vos réponses pour améliorer votre bien-être. Des scientifiques mettent au point un tel système, en intégrant la BNCI dans un nouvel instrument de musique électronique. Leurs travaux sont possibles grâce au financement par l'UE du projet B-REACTABLE (B-reactable: Multimodal tabletop system for collaborative physiology monitoring and training).

Le Reactable, précédemment développé à l'université de Pompeu Fabra à Barcelone, dispose d'un écran rétroéclairé et d'une interface musicale tangible, recouvrant la surface de la table. Ce système est commercialisé, et permet de créer de la musique sans utiliser de listes en texte ni passer son temps à naviguer dans des menus. Les "tangibles" sont des éléments réels qui constituent autant de modules d'un synthétiseur analogique. Ils peuvent être assemblés pour créer de la musique ou des sons. Les chercheurs voulaient tirer parti des "tangibles" afin que les utilisateurs puissent surveiller et modifier leur état physiologique, en fonction des retours sur leur état cognitif et émotionnel.

La réussite du projet dépend de la sonification de l'électroencéphalogramme (la transformation du signal de l'électroencéphalogramme en un signal audible). La tâche est complexe car il faut traduire en sons les relations dans l'électroencéphalogramme, afin que les gens puissent les comprendre. L'équipe a procédé à un examen approfondi de la littérature disponible sur les sonifications d'électroencéphalogramme en temps réel, et conduit des expériences afin de choisir une approche de la sonification basée sur un modèle. Les chercheurs ont sélectionné et testé un électroencéphalographe à 21 canaux.

Durant la dernière année du projet, les scientifiques ont testé le prototype de B-REACTABLE sur des utilisateurs novices ainsi que sur des disc jockeys professionnels habitués au Reactable. En parallèle, l'équipe a mis au point un nouveau concept de formation collaborative à la compassion, basée sur le neurofeedback. Il s'appuie sur les sonifications mises au point pour surveiller l'activité de l'EEG. Les sonifications sont associées avec la présentation de vidéos à caractère émotionnel, pour assurer une formation pro-sociale à un comportement compatissant.


Le système a été étendu par une plateforme virtuelle pour relier les artistes et les scientifiques travaillant à des médias multi-sensoriels et aux réactions physiques et émotionnelles à une présentation audiovisuelle. Le marché potentiel est très vaste, vu l'explosion des documents audiovisuels disponibles gratuitement sur Internet ou en vente pour les téléphones et autres dispositifs électroniques portables.

Le système B-REACTABLE devrait devenir un outil très utile pour former les professionnels de la santé et améliorer la qualité de vie des citoyens de l'UE. Le fait de permettre au patient de contrôler et de surveiller ses propres signaux physiologiques, grâce à un feedback sur ses états cognitifs et émotionnels, pourrait bientôt remettre le "traitement" entre ses mains.