💥 Wie verhindert man den Zusammenbruch von KI?

Die künstliche Intelligenz schreitet in einem rasenden Tempo voran, aber eine Mauer erhebt sich auf ihrem Weg.

Die großen Sprachmodelle, die Chatbots und virtuelle Assistenten antreiben, verschlingen astronomische Mengen menschlicher Daten. Doch diese Reserven an originellen Inhalten erschöpfen sich schnell. Ohne frischen Input könnte das Lernen dieser Maschinen entgleisen.

Ohne neue Daten würden die KIs beginnen, sich von ihren eigenen Produktionen zu ernähren. Dieser geschlossene Kreislauf führt zu einem Phänomen, das als Modellkollaps bezeichnet wird, in zwei unterschiedlichen Stadien. Zunächst verlieren die Antworten die seltenen Details und werden geschmacklos, ähnlich wie generischer Text. Danach kippen sie in völliges Kauderwelsch um, was die KI unbrauchbar macht.


Forscher mehrerer Institutionen haben eine erstaunlich einfache Abhilfe für dieses Problem gefunden. Ihre Studie, veröffentlicht in Physical Review Letters, zeigt, dass ein einziges authentisches menschliches Beispiel, eingefügt in einen Ozean künstlicher Daten, ausreicht, um den Zusammenbruch zu verhindern.

Dieses Ergebnis resultiert aus Arbeiten über mathematische Modelle, die als Exponentialfamilien bezeichnet werden und es ermöglichen zu verstehen, warum und wie der Zusammenbruch auftritt.

Um diesen Mechanismus zu verstehen, muss man wissen, dass beim Recyclen eines Modells auf seine eigenen Ausgaben die statistischen Schwankungen allmählich verschwinden. Die seltenen Fälle und die nuancierten Informationen verschwinden und weichen homogenen Antworten. Ein realer Referenzpunkt, der richtig von einem Menschen gekennzeichnet wurde, stellt die verlorene Vielfalt wieder her.

Die Wissenschaftler haben einfache mathematische Modelle verwendet, um diesen Prozess im Detail zu analysieren. Gestärkt durch dieses Verständnis konnten sie eine theoretische Lösung entwickeln. Der nächste Schritt wird darin bestehen, diese Methode an den riesigen kommerziellen Modellen zu testen, um ihre Wirksamkeit im großen Maßstab zu überprüfen. Wenn sich das Prinzip bestätigt, werden die Ingenieure ein einfaches Rezept haben, um einen Zusammenbruch zu vermeiden.