Die Umwandlung von affektiven Berührungsgesten in interpretierbare Klänge ist das Ziel des Projekts Audio-touch, das am ISIR im Rahmen des ANR-Programms MATCH durchgeführt wird. Dieser Ansatz basiert auf einer einfachen, aber vielversprechenden Beobachtung: Berührung und Hören beruhen beide auf der Wahrnehmung von Vibrationen. Es findet in einem Kontext statt, in dem physische Interaktionen seltener werden – soziale Isolation, Digitalisierung, virtuelle Interaktionen –, obwohl Berührungen für unsere Entwicklung, unser emotionales Wohlbefinden und die Stressregulation essenziell sind.
Die ISIR-Mitglieder Alexandra de Lagarde, Doktorandin, Catherine Pelachaud, CNRS-Forschungsleiterin, Louise P. Kirsch, Dozentin an der Universität Paris Cité, und Malika Auvray, CNRS-Forschungsleiterin, haben untersucht, ob Gesten wie Streicheln, Klopfen oder Reiben auf der Haut so vertont werden können, dass sie sozial-affektive Informationen an eine Zuhörerin oder einen Zuhörer übertragen.
Dazu zeichneten die Forscherinnen Haut-zu-Haut-Gesten mit vibrotaktilen Sensoren auf und wandelten diese Daten in Klänge, sogenannte Audio-touch-Stimuli, um. Diese Klänge wurden dann Teilnehmerinnen und Teilnehmern in einer Reihe von vier Experimenten vorgespielt, um deren Fähigkeit zu bewerten, die Art und Absicht der Gesten zu erkennen.
Die Ergebnisse zeigen, dass Klänge aus Berührungsgesten konsistent interpretiert werden können:
- Die Gesten werden korrekt kategorisiert (1. Experiment),
- Ihre emotionalen Absichten werden erkannt (2. Experiment),
- Und die Ausführungsfläche der Geste (menschliche Haut vs. unbelebter Gegenstand) beeinflusst die Wahrnehmung der Geste und der Emotionen signifikant (3. und 4. Experiment).
Diese in der Zeitschrift Proceedings of the National Academy of Sciences (PNAS) veröffentlichten Ergebnisse legen nahe, dass das Gehör in gewissem Maße Hinweise vermitteln kann, die normalerweise durch Berührung übertragen werden. Mit anderen Worten: Es ist möglich, eine taktile Absicht „hörbar“ zu machen.
Das Projekt steht an der Schnittstelle mehrerer Bereiche: soziale Kognition, sensorische Wahrnehmung, Mensch-Agent-Interaktion, Haptik und Sounddesign. Während das ANR-Projekt MATCH Berührungsillusionen in der virtuellen Realität durch multisensorisches Feedback erforscht, untersucht Audio-touch speziell die Rolle des auditiven Kanals bei der Übertragung sozialer Bindungen.
Indem es zeigt, dass affektive Gesten allein durch ihre klangliche Übersetzung erkannt werden können, eröffnet Audio-touch neue Wege für das Design von affektempfindlichen Schnittstellen und, weiter gefasst, für die Entwicklung alternativer Formen multisensorischer Kommunikation in digitalisierten Umgebungen.