Rechercher des mots-clés dans un ensemble de vidéos

Si l'indexation vidéo automatisée continue de se répandre, avec des technologies souvent différentes (voir Moteurs de recherche vidéo, une nouvelle étape), reste qu'il est souvent difficile de retrouver un passage particulier dans une vidéo de 90 minutes. C'est pour répondre à ce besoin exprimé par nombre d'étudiants que le Laboratoire d'intelligence artificielle et de science de l'informatique du Massachusetts Institute of Technology a développé un nouveau moteur de recherche.


“Notre but était de développer une technologie qui aiderait les professeurs à structurer leurs enregistrements vidéos et permettrait aux étudiants d'y accéder plus facilement”, explique James Glass, responsable du Groupe sur les systèmes de langages parlés. Sur le site prototype (lien), les étudiants peuvent faire une requête parmi les 200 vidéos de conférences qui sont accessibles et lancer les passages qui correspondent aux résultats de leurs requêtes. Une transcription des conférences est réalisée par un logiciel de reconnaissance de la parole.

Mais les conférences sont remplies de termes techniques que le vocabulaire des programmes de reconnaissance de la parole ne permet pas toujours de décoder. D'où l'idée d'aider le logiciel avec des cours en ligne, des résumés et des documents produits par les mêmes professeurs pour lui permettre de mieux identifier les mots clefs. Cela permet au logiciel d'identifier 4 termes inconnus sur 5 d'une manière correcte, expliquent les concepteurs du système. Une fois que la transcription est complète, un logiciel d'analyse divise le texte en différentes parties et analyse la répétition des mots clefs afin d'en dégager des groupes et éviter la démultiplication des occurrences qui pollue souvent une recherche. Ainsi, quand une personne cherche un mot clef, le lecteur propose un résultat sous forme de ligne temporelle ; les sections où le conférencier utilise les mots clefs sont surlignées, ce qui permet de les visualiser directement.

A l'avenir, les concepteurs espèrent améliorer la capacité du logiciel à produire des résumés, afin que les transcriptions soient toujours plus claires. Ils souhaitent également mieux impliquer les utilisateurs dans le projet afin de leur permettre de corriger les transcriptions et d'ajouter leurs propres comptes rendus.