Um robô humanoide aprendeu a caminhar até um objeto e depois agarrá-lo após treinar em mais de 150 000 cenas virtuais.
Fazer um robô andar e fazê-lo agarrar um objeto são duas tarefas já difíceis separadamente. A máquina precisa localizar seu alvo, aproximar-se sem cair, posicionar corretamente o corpo e depois coordenar o braço e a mão.
O robô Unitree G1
Os pesquisadores batizaram seu método de FetchMan. O treinamento começa inteiramente em uma simulação. Demonstrações sintéticas fornecem ao robô exemplos de comportamentos a serem reproduzidos. Essa primeira etapa ensina os fundamentos, mas os pesquisadores constataram que adicionar cada vez mais demonstrações acaba trazendo poucos avanços.
Por isso, eles acrescentaram um segundo método: a aprendizagem por reforço. O robô tenta realizar ações no mundo virtual e recebe uma recompensa quando alcança seu objetivo. Assim, ele pode aprimorar a estratégia aprendida inicialmente, sem que um humano precise mostrar cada movimento a ser executado.
Essa combinação foi aplicada a mais de 150 000 cenas simuladas. A variedade delas obriga a máquina a lidar com diferentes posições iniciais, alvos e configurações. O objetivo é evitar que ela apenas memorize algumas situações específicas e falhe assim que seu ambiente mudar.
A passagem para o mundo real constitui o teste mais interessante. Os pesquisadores transferiram diretamente o comportamento aprendido para um Unitree G1, um robô humanoide comercial. Nenhum novo treinamento no mundo físico foi necessário nessa etapa, uma abordagem chamada transferência direta da simulação para o mundo real.
Diante de cenas que nunca havia encontrado, o robô precisava chegar até um objeto único e depois agarrá-lo. Ele teve sucesso em 73,3% das tentativas. Essa taxa ainda deixa uma margem importante para progressos antes de uma utilização confiável em locais comuns, onde objetos, obstáculos e pessoas podem mudar constantemente.
O resultado mostra sobretudo o interesse de combinar imitação e tentativas repetidas. A imitação fornece rapidamente um comportamento inicial utilizável. A aprendizagem por reforço pode então superar os limites dessa cópia ao descobrir ações mais eficientes ao longo das tentativas virtuais.
Os pesquisadores também começaram a treinar o FetchMan com vários objetos. Essa extensão deve preparar robôs capazes de escolher e manipular diferentes alvos, em vez de um único objeto definido antecipadamente.