🤖 Un robot qui choisit lui-même son apprentissage

Un robot peut apprendre plus efficacement lorsqu’il décide lui-même quels gestes méritent son temps d’entraînement.

Un robot capable de manipuler des objets dispose souvent de plusieurs compétences : saisir, déplacer, ouvrir ou utiliser un appareil. Mais il ne peut pas forcément répéter chaque geste des centaines de fois. Les chercheurs ont donc étudié une autre question : comment choisir les exercices qui amélioreront le plus ses futures tâches ?

Leur méthode, appelée Deliberate Practice, attribue à chaque compétence une partie du temps disponible.

Un geste difficile peut sembler peu intéressant lorsqu’on l’examine seul. Pourtant, sa maîtrise peut ouvrir l’accès à une meilleure manière d’accomplir toute une tâche. À l’inverse, perfectionner encore un geste déjà fiable peut apporter très peu au résultat final.

Concrètement, l’algorithme compare donc le coût d’apprentissage et le bénéfice attendu. Avec peu de temps, le robot peut privilégier une stratégie simple qu’il sait rapidement maîtriser. Avec davantage d’entraînement, il peut travailler des compétences plus difficiles permettant ensuite une séquence d’actions plus avantageuse.

Les chercheurs ont testé cette approche dans des simulations et sur un véritable robot chargé de manipulations comprenant plusieurs étapes. Une démonstration concerne la préparation d’un petit-déjeuner. Selon son budget d’entraînement, la machine peut apprendre une suite simple autour de pain grillé ou investir davantage pour maîtriser une préparation différente au four à micro-ondes.

La méthode ne consiste donc pas à laisser le robot expérimenter au hasard. Un programme calcule à l’avance la répartition du budget qui maximise le résultat attendu selon le modèle utilisé. Les auteurs ont formulé ce calcul afin qu’il puisse être traité avec des logiciels d’optimisation existants, même lorsque de nombreuses suites de gestes sont possibles.

Il existe toutefois une limite importante. Le système doit estimer correctement la vitesse à laquelle chaque compétence progresse avec la pratique. Si cette prévision est mauvaise, le programme peut consacrer trop de temps à un geste qui apprend moins vite que prévu. Le meilleur programme théorique dépend donc directement de la qualité de ces estimations.

Les prochaines expériences pourront tester cette méthode sur davantage de robots et des environnements moins contrôlés. Un enjeu sera d’actualiser les prévisions pendant l’apprentissage, à mesure que la machine découvre ses vraies difficultés. Le robot pourrait alors réorganiser son entraînement lorsqu’un geste progresse plus vite ou plus lentement que prévu.