Un robot humanoide aprendió a caminar hacia un objeto y luego agarrarlo después de entrenarse en más de 150 000 escenas virtuales.
Hacer que un robot camine y que agarre un objeto son dos tareas ya difíciles por separado. La máquina debe localizar su objetivo, acercarse sin caerse, colocar correctamente el cuerpo y coordinar después el brazo y la mano.
El robot Unitree G1
Los investigadores bautizaron su método como FetchMan. El entrenamiento comienza por completo en una simulación. Las demostraciones sintéticas proporcionan al robot ejemplos de comportamientos que debe reproducir. Esta primera etapa le enseña las bases, pero los investigadores constataron que añadir cada vez más demostraciones acaba aportando pocos avances.
Por eso añadieron un segundo método: el aprendizaje por refuerzo. El robot intenta realizar acciones en el mundo virtual y recibe una recompensa cuando alcanza su objetivo. Así puede mejorar la estrategia aprendida inicialmente, sin que un humano tenga que mostrarle cada movimiento que debe realizar.
Esta combinación se aplicó a más de 150 000 escenas simuladas. Su variedad obliga a la máquina a enfrentarse a distintas posiciones iniciales, objetivos y configuraciones. El objetivo es evitar que memorice solo unas pocas situaciones precisas y falle en cuanto cambie su entorno.
El paso al mundo real constituye la prueba más interesante. Los investigadores transfirieron directamente el comportamiento aprendido a un Unitree G1, un robot humanoide comercial. Para esta etapa no fue necesario realizar un nuevo entrenamiento en el mundo físico, un enfoque llamado transferencia directa de la simulación a la realidad.
Ante escenas que no había encontrado, el robot debía dirigirse hacia un único objeto y agarrarlo. Tuvo éxito en el 73,3 % de los intentos. Este porcentaje todavía deja un margen importante de mejora antes de utilizarlo de forma fiable en lugares cotidianos, donde los objetos, obstáculos y personas pueden cambiar constantemente.
El resultado muestra sobre todo el interés de combinar la imitación y los intentos repetidos. La imitación proporciona rápidamente un comportamiento inicial utilizable. El aprendizaje por refuerzo puede superar después los límites de esta copia al descubrir acciones más eficaces a lo largo de los intentos virtuales.
Los investigadores también han empezado a entrenar FetchMan con varios objetos. Esta ampliación debe preparar robots capaces de elegir y manipular distintos objetivos en lugar de un solo objeto previsto de antemano.