El cerebro humano aprende continuamente mientras preserva los conocimientos adquiridos, un equilibrio que los sistemas de inteligencia artificial (IA) aún tienen dificultades para reproducir. Cuando un modelo de IA asimila nueva información, tiende a borrar los conocimientos previamente adquiridos (olvido catastrófico) o, por el contrario, a volverse demasiado rígido para integrar nuevos datos (recuerdo catastrófico).
El aprendizaje continuo corresponde a una situación de entrenamiento secuencial, en la que varios conjuntos de datos se presentan sucesivamente. En el marco de MESU, los pesos de la red neuronal siguen una distribución de probabilidad que permite aproximar una formulación que concilia armoniosamente aprendizaje y olvido, a diferencia de métodos anteriores.
© Damien Querlioz, C2N
Para superar este desafío, científicos del Centro de Nanociencias y Nanotecnologías (C2N, CNRS/Universidad Paris-Saclay), del CEA-Leti y del CEA-List se inspiraron en las neurociencias, donde trabajos recientes sugieren que las sinapsis biológicas siguen principios bayesianos: ajustarían sus representaciones del mundo ponderando las nuevas observaciones en relación con los conocimientos anteriores, teniendo en cuenta su grado de incertidumbre.
Sobre esta base, el equipo propuso un nuevo marco de aprendizaje continuo, denominado Metaplasticidad derivada de la incertidumbre sináptica (MESU).
En MESU, cada conexión de la red actúa como una sinapsis bayesiana, manteniendo su propia estimación de incertidumbre. Así adapta su velocidad de aprendizaje en función de la confianza otorgada a la nueva información, mientras integra un mecanismo de olvido progresivo para los datos considerados menos relevantes. Por lo tanto, MESU traduce ciertas hipótesis neurocientíficas sobre cómo el cerebro concilia la estabilidad de la memoria y la flexibilidad cognitiva.
Los experimentos realizados mostraron que MESU alcanza un equilibrio sólido entre memorización y adaptación. En varios conjuntos de datos, incluyendo la clasificación de imágenes de animales, el reconocimiento de dígitos permutados y el aprendizaje incremental de objetos, MESU reduce significativamente tanto el olvido como la rigidez del aprendizaje, al tiempo que proporciona estimaciones de incertidumbre confiables. Supera a los métodos de aprendizaje continuo basados en la consolidación o la separación explícita de tareas.
Más allá de estos resultados, MESU establece un vínculo teórico sólido entre neurociencias y aprendizaje automático, formalizando un enfoque inspirado en el funcionamiento cerebral para gestionar el aprendizaje continuo. Nuestro próximo paso consistirá en extender MESU hacia modelos probabilísticos compatibles con el hardware embebido, para hacer que este aprendizaje continuo bioinspirado sea aplicable a dispositivos de IA reales y de bajo consumo energético.