Ein Roboter kann effizienter lernen, wenn er selbst entscheidet, welche Bewegungen seine Trainingszeit verdienen.
Ein Roboter, der Objekte manipulieren kann, verfügt oft über mehrere Fähigkeiten: greifen, bewegen, öffnen oder ein Gerät bedienen. Aber er kann nicht unbedingt jede Bewegung Hunderte Male wiederholen. Daher untersuchten die Forschenden eine andere Frage: Wie lassen sich die Übungen auswählen, die seine künftigen Aufgaben am stärksten verbessern?
Fiktive Illustrationsabbildung
Ihre Methode namens Deliberate Practice weist jeder Fähigkeit einen Teil der verfügbaren Zeit zu.
Eine schwierige Bewegung kann wenig interessant erscheinen, wenn man sie für sich allein betrachtet. Doch ihre Beherrschung kann den Zugang zu einer besseren Möglichkeit eröffnen, eine ganze Aufgabe zu erledigen. Umgekehrt kann es nur sehr wenig zum Endergebnis beitragen, eine bereits zuverlässige Bewegung noch weiter zu perfektionieren.
Konkret vergleicht der Algorithmus daher die Lernkosten mit dem erwarteten Nutzen. Bei wenig Zeit kann der Roboter eine einfache Strategie bevorzugen, die er schnell beherrschen kann. Bei mehr Training kann er an schwierigeren Fähigkeiten arbeiten, die anschließend eine vorteilhaftere Handlungsabfolge ermöglichen.
Die Forschenden testeten diesen Ansatz in Simulationen und an einem echten Roboter, der mit mehrstufigen Manipulationsaufgaben betraut war. Eine Demonstration betrifft die Zubereitung eines kleinen Frühstücks. Je nach Trainingsbudget kann die Maschine eine einfache Abfolge rund um Toast erlernen oder mehr investieren, um eine andere Zubereitung in der Mikrowelle zu beherrschen.
Die Methode besteht also nicht darin, den Roboter zufällig experimentieren zu lassen. Ein Programm berechnet im Voraus die Verteilung des Budgets, die je nach verwendetem Modell das erwartete Ergebnis maximiert. Die Autoren formulierten diese Berechnung so, dass sie mit vorhandener Optimierungssoftware verarbeitet werden kann, selbst wenn zahlreiche Bewegungsabfolgen möglich sind.
Allerdings gibt es eine wichtige Einschränkung. Das System muss die Geschwindigkeit, mit der sich jede Fähigkeit durch Übung verbessert, korrekt einschätzen. Ist diese Vorhersage falsch, kann das Programm einer Bewegung zu viel Zeit widmen, die langsamer als erwartet Fortschritte macht. Das theoretisch beste Programm hängt daher unmittelbar von der Qualität dieser Schätzungen ab.
In kommenden Experimenten kann diese Methode an weiteren Robotern und in weniger kontrollierten Umgebungen getestet werden. Eine Herausforderung wird darin bestehen, die Vorhersagen während des Lernens zu aktualisieren, während die Maschine ihre tatsächlichen Schwierigkeiten entdeckt. Der Roboter könnte sein Training dann neu organisieren, wenn eine Bewegung schneller oder langsamer als erwartet Fortschritte macht.