Das menschliche Gehirn lernt ständig, während es erworbenes Wissen bewahrt – ein Gleichgewicht, das Systeme der künstlichen Intelligenz (KI) noch immer nur schwer nachbilden können. Wenn ein KI-Modell neue Informationen aufnimmt, neigt es oft dazu, zuvor erlerntes Wissen zu löschen (katastrophales Vergessen) oder im Gegenteil zu starr zu werden, um neue Daten zu integrieren (katastrophales Erinnern).
Kontinuierliches Lernen entspricht einer Situation sequenziellen Trainings, bei der mehrere Datensätze nacheinander präsentiert werden. Im Rahmen von MESU folgen die Gewichte des neuronalen Netzes einer Wahrscheinlichkeitsverteilung, die es ermöglicht, eine Formulierung zu approximieren, die Lernen und Vergessen harmonisch miteinander vereint – im Gegensatz zu früheren Methoden.
© Damien Querlioz, C2N
Um diese Herausforderung zu meistern, ließen sich Wissenschaftler des Centre de nanosciences et de nanotechnologies (C2N, CNRS/Université Paris-Saclay), des CEA-Leti und des CEA-List von den Neurowissenschaften inspirieren, wo neuere Arbeiten darauf hindeuten, dass biologische Synapsen bayesschen Prinzipien folgen: Sie passen ihre Weltrepräsentationen an, indem sie neue Beobachtungen im Verhältnis zu früherem Wissen gewichten und dabei ihren Unsicherheitsgrad berücksichtigen.
Auf dieser Grundlage schlug das Team einen neuen Rahmen für kontinuierliches Lernen vor, genannt Metaplastizität aus synaptischer Unsicherheit (MESU).
In MESU fungiert jede Verbindung des Netzwerks wie eine bayessche Synapse, die ihre eigene Unsicherheitsschätzung aufrechterhält. Dadurch passt sie ihre Lerngeschwindigkeit an das Vertrauen in neue Informationen an und integriert gleichzeitig einen Mechanismus des allmählichen Vergessens für Daten, die als weniger relevant erachtet werden. MESU setzt somit bestimmte neurowissenschaftliche Hypothesen darüber um, wie das Gehirn Stabilität des Gedächtnisses und kognitive Flexibilität in Einklang bringt.
Die durchgeführten Experimente zeigten, dass MESU ein solides Gleichgewicht zwischen Merkfähigkeit und Anpassung erreicht. Bei mehreren Datensätzen, darunter die Klassifizierung von Tierbildern, die Erkennung permutierter Ziffern und inkrementelles Lernen von Objekten, reduziert MESU sowohl das Vergessen als auch die Starrheit des Lernens erheblich, während es gleichzeitig zuverlässige Unsicherheitsschätzungen liefert. Es übertrifft Methoden des kontinuierlichen Lernens, die auf Konsolidierung oder expliziter Aufgabenaufteilung basieren.
Über diese Ergebnisse hinaus stellt MESU eine solide theoretische Verbindung zwischen Neurowissenschaften und maschinellem Lernen her, indem es einen vom Gehirn inspirierten Ansatz zur Bewältigung kontinuierlichen Lernens formalisiert. Unser nächster Schritt wird darin bestehen, MESU auf probabilistische Modelle zu erweitern, die mit eingebetteter Hardware kompatibel sind, um dieses bio-inspirierte kontinuierliche Lernen auf reale KI-Geräte mit geringem Energieverbrauch anwendbar zu machen.