Um robô pode aprender com mais eficiência quando decide por si próprio quais movimentos merecem seu tempo de treinamento.
Um robô capaz de manipular objetos geralmente dispõe de várias habilidades: agarrar, deslocar, abrir ou usar um aparelho. Mas ele não pode necessariamente repetir cada movimento centenas de vezes. Por isso, os pesquisadores estudaram outra questão: como escolher os exercícios que melhorarão mais suas tarefas futuras?
Imagem fictícia de ilustração
Seu método, chamado Prática Deliberada, atribui a cada habilidade uma parte do tempo disponível.
Um movimento difícil pode parecer pouco interessante quando analisado isoladamente. No entanto, dominá-lo pode abrir acesso a uma maneira melhor de realizar toda uma tarefa. Por outro lado, aperfeiçoar ainda mais um movimento já confiável pode trazer muito pouco para o resultado final.
Concretamente, o algoritmo compara o custo da aprendizagem com o benefício esperado. Com pouco tempo, o robô pode priorizar uma estratégia simples que consegue dominar rapidamente. Com mais treinamento, pode trabalhar habilidades mais difíceis que permitam depois uma sequência de ações mais vantajosa.
Os pesquisadores testaram essa abordagem em simulações e em um robô real encarregado de manipulações com várias etapas. Uma demonstração envolve o preparo de um pequeno-almoço. De acordo com seu orçamento de treinamento, a máquina pode aprender uma sequência simples com torradas ou investir mais para dominar uma preparação diferente no forno de micro-ondas.
O método, portanto, não consiste em deixar o robô experimentar ao acaso. Um programa calcula antecipadamente a distribuição do orçamento que maximiza o resultado esperado de acordo com o modelo utilizado. Os autores formularam esse cálculo para que ele possa ser processado com softwares de otimização existentes, mesmo quando muitas sequências de movimentos são possíveis.
Há, contudo, uma limitação importante. O sistema precisa estimar corretamente a velocidade com que cada habilidade evolui com a prática. Se essa previsão estiver errada, o programa poderá dedicar tempo demais a um movimento que aprende mais lentamente do que o previsto. O melhor programa teórico depende, portanto, diretamente da qualidade dessas estimativas.
Os próximos experimentos poderão testar esse método em mais robôs e em ambientes menos controlados. Um desafio será atualizar as previsões durante a aprendizagem, à medida que a máquina descobre suas dificuldades reais. O robô poderá então reorganizar seu treinamento quando um movimento evoluir mais rápido ou mais lentamente do que o previsto.