Die kontinuierliche Aufnahme von Wissen durch Systeme der kĂŒnstlichen Intelligenz beruht auf einem heiklen Kompromiss zwischen ihrer Neigung, altes Wissen zu vergessen, und ihrer Starrheit bei der Einbindung neuer Daten. In einer in Nature Communications veröffentlichten Studie nutzten Wissenschaftler bayessche AnsĂ€tze, die von biologischen Synapsen inspiriert sind, um Unsicherheit einzufĂŒhren und GedĂ€chtnis und Anpassung besser auszugleichen.
Das menschliche Gehirn lernt stĂ€ndig, wĂ€hrend es erworbenes Wissen bewahrt â ein Gleichgewicht, das Systeme der kĂŒnstlichen Intelligenz (KI) noch immer nur schwer nachbilden können. Wenn ein KI-Modell neue Informationen aufnimmt, neigt es oft dazu, zuvor erlerntes Wissen zu löschen (katastrophales Vergessen) oder im Gegenteil zu starr zu werden, um neue Daten zu integrieren (katastrophales Erinnern).
Kontinuierliches Lernen entspricht einer Situation sequenziellen Trainings, bei der mehrere DatensĂ€tze nacheinander prĂ€sentiert werden. Im Rahmen von MESU folgen die Gewichte des neuronalen Netzes einer Wahrscheinlichkeitsverteilung, die es ermöglicht, eine Formulierung zu approximieren, die Lernen und Vergessen harmonisch miteinander vereint â im Gegensatz zu frĂŒheren Methoden.
© Damien Querlioz, C2N
Um diese Herausforderung zu meistern, lieĂen sich Wissenschaftler des Centre de nanosciences et de nanotechnologies (C2N, CNRS/UniversitĂ© Paris-Saclay), des CEA-Leti und des CEA-List von den Neurowissenschaften inspirieren, wo neuere Arbeiten darauf hindeuten, dass biologische Synapsen bayesschen Prinzipien folgen: Sie passen ihre WeltreprĂ€sentationen an, indem sie neue Beobachtungen im VerhĂ€ltnis zu frĂŒherem Wissen gewichten und dabei ihren Unsicherheitsgrad berĂŒcksichtigen.
Auf dieser Grundlage schlug das Team einen neuen Rahmen fĂŒr kontinuierliches Lernen vor, genannt MetaplastizitĂ€t aus synaptischer Unsicherheit (MESU).
In MESU fungiert jede Verbindung des Netzwerks wie eine bayessche Synapse, die ihre eigene UnsicherheitsschĂ€tzung aufrechterhĂ€lt. Dadurch passt sie ihre Lerngeschwindigkeit an das Vertrauen in neue Informationen an und integriert gleichzeitig einen Mechanismus des allmĂ€hlichen Vergessens fĂŒr Daten, die als weniger relevant erachtet werden. MESU setzt somit bestimmte neurowissenschaftliche Hypothesen darĂŒber um, wie das Gehirn StabilitĂ€t des GedĂ€chtnisses und kognitive FlexibilitĂ€t in Einklang bringt.
Die durchgefĂŒhrten Experimente zeigten, dass MESU ein solides Gleichgewicht zwischen MerkfĂ€higkeit und Anpassung erreicht. Bei mehreren DatensĂ€tzen, darunter die Klassifizierung von Tierbildern, die Erkennung permutierter Ziffern und inkrementelles Lernen von Objekten, reduziert MESU sowohl das Vergessen als auch die Starrheit des Lernens erheblich, wĂ€hrend es gleichzeitig zuverlĂ€ssige UnsicherheitsschĂ€tzungen liefert. Es ĂŒbertrifft Methoden des kontinuierlichen Lernens, die auf Konsolidierung oder expliziter Aufgabenaufteilung basieren.
Ăber diese Ergebnisse hinaus stellt MESU eine solide theoretische Verbindung zwischen Neurowissenschaften und maschinellem Lernen her, indem es einen vom Gehirn inspirierten Ansatz zur BewĂ€ltigung kontinuierlichen Lernens formalisiert. Unser nĂ€chster Schritt wird darin bestehen, MESU auf probabilistische Modelle zu erweitern, die mit eingebetteter Hardware kompatibel sind, um dieses bio-inspirierte kontinuierliche Lernen auf reale KI-GerĂ€te mit geringem Energieverbrauch anwendbar zu machen.