Ein humanoider Roboter hat gelernt, auf einen Gegenstand zuzugehen und ihn anschließend zu greifen, nachdem er in mehr als 150.000 virtuellen Szenen trainiert worden war.
Einen Roboter zum Gehen zu bringen und ihn einen Gegenstand greifen zu lassen, sind bereits einzeln schwierige Aufgaben. Die Maschine muss ihr Ziel erkennen, sich ihm nähern, ohne zu fallen, ihren Körper richtig positionieren und anschließend Arm und Hand koordinieren.
Der Roboter Unitree G1
Die Forschenden tauften ihre Methode FetchMan. Das Training beginnt vollständig in einer Simulation. Synthetische Demonstrationen liefern dem Roboter Beispiele für Verhaltensweisen, die er nachahmen soll. In dieser ersten Phase lernt er die Grundlagen. Die Forschenden stellten jedoch fest, dass immer mehr Demonstrationen schließlich nur noch geringe Fortschritte bringen.
Deshalb fügten sie eine zweite Methode hinzu: das Lernen durch Verstärkung. Der Roboter probiert in der virtuellen Welt verschiedene Aktionen aus und erhält eine Belohnung, wenn er sein Ziel erreicht. So kann er die ursprünglich erlernte Strategie verbessern, ohne dass ein Mensch ihm jede auszuführende Bewegung zeigen muss.
Diese Kombination wurde auf mehr als 150.000 simulierte Szenen angewandt. Ihre Vielfalt zwingt die Maschine, mit unterschiedlichen Ausgangspositionen, Zielen und Konfigurationen umzugehen. Ziel ist es zu verhindern, dass sie sich nur einige wenige konkrete Situationen merkt und scheitert, sobald sich ihre Umgebung verändert.
Der Übergang in die reale Welt ist der interessanteste Test. Die Forschenden übertrugen das erlernte Verhalten direkt auf einen Unitree G1, einen kommerziellen humanoiden Roboter. Für diesen Schritt war kein weiteres Training in der physischen Welt erforderlich. Dieser Ansatz wird als direkter Transfer von der Simulation in die Realität bezeichnet.
In Szenen, die ihm noch nicht begegnet waren, sollte der Roboter einen einzelnen Gegenstand erreichen und ihn greifen. Bei 73,3 % der Versuche war er erfolgreich. Bis zu einem zuverlässigen Einsatz an gewöhnlichen Orten, an denen sich Gegenstände, Hindernisse und Menschen ständig verändern können, besteht damit noch erhebliches Verbesserungspotenzial.
Das Ergebnis zeigt vor allem den Nutzen einer Kombination aus Nachahmung und wiederholten Versuchen. Die Nachahmung liefert schnell ein nutzbares Ausgangsverhalten. Das Lernen durch Verstärkung kann anschließend die Grenzen dieser Kopie überwinden, indem es im Laufe der virtuellen Versuche effizientere Aktionen entdeckt.
Die Forschenden haben außerdem begonnen, FetchMan mit mehreren Gegenständen zu trainieren. Diese Erweiterung soll den Weg für Roboter bereiten, die verschiedene Ziele auswählen und manipulieren können, statt nur einen im Voraus festgelegten Gegenstand zu bearbeiten.