In den riesigen Rechenzentren für künstliche Intelligenz könnte Licht verhindern, dass Tausende von Chips Zeit damit verlieren, aufeinander zu warten.
Um das Problem zu verstehen, muss man sich ansehen, wie große KI-Systeme arbeiten. Ein Modell kann auf zahlreiche Grafikprozessoren oder GPUs verteilt werden, die jeweils einen Teil des Ergebnisses berechnen. Diese Chips müssen ihre Daten regelmäßig austauschen und neu kombinieren. Je größer ihre Zahl ist, desto stärker können diese Kommunikationsvorgänge das gesamte System verlangsamen.
Heute laufen diese Austausche hauptsächlich über elektronische Netzwerke und Switches. Forschende schlagen vor, einen Teil dieses Ablaufs durch Licht zu ersetzen, das Informationen gleichzeitig an mehrere Orte übertragen kann.
Diese Architektur trägt den Namen Parallel Photonic Integration oder PPI. Licht kommt hier bei den Berechnungen und beim Datenaustausch zum Einsatz, die mehrere Maschinen koordinieren.
Ein untersuchter Anwendungsfall ist die AllReduce-Operation. Dahinter verbirgt sich eine häufige Aufgabe beim Training einer KI: Mehrere GPUs erzeugen Teilergebnisse, die anschließend kombiniert und erneut verteilt werden müssen. Bei vielen Prozessoren kann dieser Schritt langwierig werden. PPI könnte diese Kombinationen mithilfe von Licht und parallel durchführen.
Die Autoren haben eine erste experimentelle Demonstration ihrer Architektur durchgeführt. Außerdem nutzten sie Computermodelle, um ihr Verhalten in großen GPU-Clustern abzuschätzen, auf denen Transformer-Modelle ausgeführt werden. In sehr großem Maßstab sagen ihre Berechnungen eine mehr als hundertfach geringere AllReduce-Latenz im Vergleich zu heutigen Switching-Netzwerken voraus.
Der Vorteil betrifft nicht nur die Geschwindigkeit. Dieselben Simulationen sagen pro Vorgang einen um mehr als 50 % geringeren Energieverbrauch voraus. Ein Chip, der auf das Ende eines Datenaustauschs wartet, verbraucht nämlich weiterhin Strom. Eine Verkürzung dieser Wartezeiten kann sich daher auf den Gesamtverbrauch des Systems auswirken.
Diese Zahlen sind noch Projektionen. Die Forschenden müssen insbesondere überprüfen, wie sich diese Architektur verhält, wenn sie in reale Infrastrukturen mit sehr vielen GPUs integriert wird.