Pranav Mistry - Définition

TaPuMa (pour TAngible Public Map)

TaPuMa est un autre des projets visant à connecter le cyber espace avec le monde physique de la vie quotidienne. C'est encore une application basée sur l'idée d'utiliser les objets ou surfaces qui nous entourent comme interface avec le monde informationnel.
Plus précisément, TaPuMa est une carte publique qui se présente comme celles qu'on peut trouver dans les villes, métros, gares, aéroports, etc. Mais à la différence des cartes classiques inertes et muettes, le prototype de TaPuMa était en 2006 doté d'un système de reconnaissance de certains objets (munis d'étiquette RFID), et d'éléments simples d'intelligence artificielle.
par exemple, en posant un paquet de cigarette sur la carte, celle ci affiche les lieux fumeurs, en posant un tickets e métro, elle affiche le plan du métro, etc.

Une telle carte peut théoriquement contenir de très nombreuses couches d'informations géoréférencées ou non (toutes celles qui sont déjà accessibles via google earth par exemple).
Une partie des ces informations (via internet ou d'autres capteurs) sont automatiquement mises à jour et disponibles en quasi-temps réel, mais une autre partie des informations peut théoriquement être insérée dans le système par les usagers eux-mêmes. L'équipe qui travaillait sur ce projet au MIT prévoyait d'étendre la capacité du système en matière de reconnaissance de forme et de sens, et d'interactivité.
A terme ce type de carte pourrait permettre de trouver des personnes, des objets, des lieux, des évènements (éventuellement commentés) dans notre environnement.

Projet « 3ème oeil » (« ThirdEye »)

Ce projet développé avec Pattie Maes vise à produire et tester des lunettes pouvant afficher plusieurs informations différentes sur un même écran (le verre des lunettes) (par exemple pour un téléspectateur, qui pourrait voir les sous-titre d'un film dans sa langue, alors que son voisin les voit dans une autre langue, dans ses propres lunettes. Un panneau d'affichage public pourrait être "lu" en chinois par un chinois et au même moment en français par un français. Dans un jeu multijoueur, devant un même écran, chaque joueur pourrait voir des informations différentes, alors que deux personnes différentes pourraient regarder deux émissions différentes sur le même écran. Un écran ou un panneau d'affichage pourrait afficher des informations uniquement pour des personnes qui seraient concernées. Au cinéma, on pourrait choisir une fin différente selon ses souhaits.
On peut penser qu'avec les lunettes 3D développées pour la 3D virtuelle sera également possible.

« TellUs »

TellUs est un outil utilisable pour l'éveil des enfants, incluant une réalité "augmentée" pour les objets présentés comme personnages d'une maison.

Perspectives, prospective

D'autres chercheurs du MIT ou d'ailleurs, ont également développé des outils proches de ceux de Mistry ou complémentaires, avec le même esprit d'utilisation de matériels déjà disponibles et peu couteux (par exemple pour la localisation globale (de la géolocalisation satellitale à la localisation par étiquettes RFID), accessible à un plus grand nombre de personnes dans le monde. Ils y associent souvent des innovations telles qu'écrans tactiles, écrans souples logiciels de détection des gestes, formes ou visages, de reconnaissance d'images, qui sont eux-mêmes dopés par la puissance de calcul aujourd'hui permise par les progrès de l'informatique. Cette génération de chercheurs estime qu'au lieu de produire toujours plus de périphériques mangeurs de temps, d'espace et d'énergie, il est déjà possible d'interagir avec le monde du numérique, éventuellement via nos vêtements, montres, stylos, meubles et immeubles.

Ceci élargit la gamme des possibles. Il est de plus en plus facile de faire communiquer des gens avec des objets, et inversement, et des objets entre eux, qu'ils soient proches ou distants. Il devient possible de localiser les objets et les personnes dans notre voisinage, avec des outils et concepts encore considérés comme relevant de la science-fiction au début des années 2000.

Certains de ces outils pourraient être couplés avec les inventions de Mistry, dont par exemple ;

• les systèmes inventés par Johnny Lee à partir d'éléments de contrôleur jeux vidéo (détecteur de mouvement de type Wiimote contenant un Accéléromètre et une caméra infrarouge, comme on en trouve dans celui de la Wii de Nintendo (Camera 1024x768). Ce matériel a permis à Johnny Lee dès 2007 de transformer un écran d'ordinateur en tablette graphique, ou de créer un « tableau blanc interactif » pour quelques dizaines de dollar, au lieu de 2000 à 3000 dollars que coûtaient alors les tableaux commercialisés.
  Johnny Lee a aussi inventé une paire de lunettes équipée de deux diodes (infra-rouge) permettant à l'ordinateur de situer la position de la tête de l'utilisateur dans l'espace, et de produire à l'écran un effet de vision 3D. Il a également mis le logiciel de base en open-source et téléchargement gratuit sur son site (téléchargé un demi-million de fois en quelques mois).
• le système de gestion d'images développé par Blaise Aguera y Arcas permettant de parcourir des collections d'images (ou de cartes, images satellitales, etc.) collectées sur le net, et automatiquement reliées entre elles, avec une méta-information croissante qui les enrichit (via par exemple les tags déposés par les internautes à partir de bases comme Flickr ou Wikimedia commons)
• Ces innovations pourraient également à terme se fondre dans une écodomotique urbaine ouverte, en s'intégrant dans des approches de type architecture open-source comme celle que propose Cameron sinclair.