Dans les immenses datacenters dédiés à l’intelligence artificielle, la lumière pourrait éviter à des milliers de puces de perdre du temps à s’attendre.
Pour comprendre le problème, il faut regarder comment travaillent les grands systèmes d’IA. Un modèle peut être réparti entre de nombreux processeurs graphiques, ou GPU, qui calculent chacun une partie du résultat. Ces puces doivent échanger et recombiner régulièrement leurs données. Plus leur nombre augmente, plus ces communications peuvent ralentir l’ensemble.
Aujourd’hui, ces échanges passent principalement par des réseaux électroniques et des commutateurs. Les chercheurs proposent de remplacer une partie de ce fonctionnement par de la lumière, capable de transmettre simultanément des informations à plusieurs endroits.
Cette architecture porte le nom de Parallel Photonic Integration, ou PPI. La lumière intervient ici dans les calculs et échanges qui coordonnent plusieurs machines.
Un cas étudié est l’opération AllReduce. Derrière ce nom se cache une tâche fréquente lors de l’entraînement d’une IA : plusieurs GPU produisent des résultats partiels, qui doivent être combinés puis redistribués. Avec beaucoup de processeurs, cette étape peut devenir longue. Le PPI permettrait d’effectuer ces combinaisons avec la lumière et en parallèle.
Les auteurs ont réalisé une première démonstration expérimentale de leur architecture. Ils ont aussi utilisé des modèles informatiques pour estimer son comportement dans de grandes grappes de GPU exécutant des modèles de type Transformer. À très grande échelle, leurs calculs prévoient une latence d’AllReduce réduite de plus de 100 fois comparée à celle des réseaux à commutation actuels.
L’intérêt ne concerne pas seulement la vitesse. Les mêmes simulations prévoient une consommation d’énergie inférieure de plus de 50 % par opération. Une puce qui attend la fin d’un échange continue en effet de consommer de l’électricité. Réduire ces temps d’attente peut donc agir sur la consommation globale du système.
Ces chiffres sont encore des projections. Les chercheurs devront notamment vérifier comment cette architecture se comporte lorsqu’elle est intégrée à des infrastructures réelles comptant de très nombreux GPU.