Un robot humanoïde a appris à marcher vers un objet puis à le saisir après s'être entraîné dans plus de 150 000 scènes virtuelles.
Faire marcher un robot et lui faire saisir un objet sont deux tâches déjà difficiles séparément. La machine doit repérer sa cible, s'en approcher sans tomber, placer correctement son corps puis coordonner son bras et sa main.
Le robot Unitree G1
Les chercheurs ont baptisé leur méthode FetchMan. L'entraînement commence entièrement dans une simulation. Des démonstrations synthétiques donnent au robot des exemples de comportements à reproduire. Cette première étape lui apprend les bases, mais les chercheurs ont constaté qu'ajouter toujours plus de démonstrations finit par apporter peu de progrès.
Ils ont donc ajouté une seconde méthode : l'apprentissage par renforcement. Le robot tente des actions dans le monde virtuel et reçoit une récompense lorsqu'il atteint son objectif. Il peut ainsi améliorer la stratégie apprise initialement, sans qu'un humain doive lui montrer chaque mouvement à effectuer.
Cette combinaison a été appliquée à plus de 150 000 scènes simulées. Leur variété oblige la machine à composer avec différentes positions de départ, cibles et configurations. L'objectif est d'éviter qu'elle mémorise seulement quelques situations précises et échoue dès que son environnement change.
Le passage au monde réel constitue le test le plus intéressant. Les chercheurs ont transféré directement le comportement appris vers un Unitree G1, un robot humanoïde commercial. Aucun nouvel entraînement dans le monde physique n'a été nécessaire pour cette étape, une approche appelée transfert direct de la simulation vers le réel.
Face à des scènes qu'il n'avait pas rencontrées, le robot devait rejoindre un objet unique puis le saisir. Il a réussi 73,3 % des essais. Ce taux laisse encore une marge importante de progression avant une utilisation fiable dans des lieux ordinaires, où les objets, obstacles et personnes peuvent changer en permanence.
Le résultat montre surtout l'intérêt de combiner imitation et essais répétés. L'imitation donne rapidement un comportement de départ utilisable. L'apprentissage par renforcement peut ensuite dépasser les limites de cette copie en découvrant des actions plus efficaces au fil des tentatives virtuelles.
Les chercheurs ont aussi commencé à entraîner FetchMan avec plusieurs objets. Cette extension doit préparer des robots capables de choisir et de manipuler différentes cibles plutôt qu'un seul objet prévu à l'avance.