💥 Comment empêcher l'effondrement des IA ?
Restez toujours informé: suivez-nous sur Google Actualités (icone ☆)
Les grands modèles de langage, qui animent chatbots et assistants virtuels, engloutissent des quantités astronomiques de données humaines. Or, ces réserves de contenu original s'épuisent rapidement. Sans apport frais, l'apprentissage de ces machines pourrait dérailler.
Sans nouvelles données, les IA commenceraient à se nourrir de leurs propres productions. Ce cycle fermé mène à un phénomène appelé effondrement du modèle, en deux stades distincts. Au début, les réponses perdent les détails rares et deviennent insipides, semblables à du texte générique. Ensuite, elles virent au charabia complet, rendant l'IA inutilisable.
Des chercheurs de plusieurs institutions ont identifié une parade étonnamment simple à ce problème. Leur étude, publiée dans Physical Review Letters, montre qu'un seul exemple humain authentique, inséré dans un océan de données artificielles, suffit à empêcher l'effondrement.
Ce résultat découle de travaux sur des modèles mathématiques appelés familles exponentielles, qui permettent de comprendre pourquoi et comment l'effondrement se produit.
Pour comprendre ce mécanisme, il faut savoir que lorsque l'on recycle un modèle sur ses propres sorties, les fluctuations statistiques s'estompent progressivement. Les cas rares et les informations nuancées disparaissent, laissant place à des réponses homogènes. Un point de référence réel, correctement étiqueté par un humain, rétablit la diversité perdue.
Les scientifiques ont utilisé des modèles mathématiques simples pour analyser en détail ce processus. Forts de cette compréhension, ils ont pu concevoir une solution théorique. La prochaine étape consistera à tester cette méthode sur les gigantesques modèles commerciaux pour vérifier son efficacité à grande échelle. Si le principe se vérifie, les ingénieurs disposeront d'une recette simple pour éviter un effondrement.