O cérebro humano aprende permanentemente enquanto preserva os conhecimentos adquiridos, um equilíbrio que os sistemas de inteligência artificial (IA) ainda têm dificuldade em reproduzir. Quando um modelo de IA assimila novas informações, ele tende frequentemente a apagar os saberes previamente adquiridos (esquecimento catastrófico) ou, ao contrário, a se tornar muito rígido para integrar novos dados (lembrança catastrófica).
O aprendizado contínuo corresponde a uma situação de treinamento sequencial, na qual vários conjuntos de dados são apresentados sucessivamente. No âmbito do MESU, os pesos da rede neural seguem uma distribuição de probabilidade que permite aproximar uma formulação conciliando de maneira harmoniosa aprendizado e esquecimento, ao contrário dos métodos anteriores.
© Damien Querlioz, C2N
Para superar esse desafio, cientistas do Centre de nanosciences et de nanotechnologies (C2N, CNRS/Université Paris-Saclay), do CEA-Leti e do CEA-List se inspiraram nas neurociências, onde trabalhos recentes sugerem que as sinapses biológicas seguem princípios bayesianos: elas ajustariam suas representações do mundo ponderando as novas observações em relação aos conhecimentos anteriores, levando em conta seu grau de incerteza.
Com base nisso, a equipe propôs um novo quadro de aprendizado contínuo, chamado Metaplasticidade decorrente da incerteza sináptica (MESU).
No MESU, cada conexão da rede atua como uma sinapse bayesiana, mantendo sua própria estimativa de incerteza. Ela adapta assim sua velocidade de aprendizado em função da confiança atribuída às novas informações, ao mesmo tempo que integra um mecanismo de esquecimento progressivo para os dados considerados menos relevantes. O MESU traduz, portanto, certas hipóteses neurocientíficas sobre a maneira como o cérebro concilia estabilidade da memória e flexibilidade cognitiva.
As experiências realizadas mostraram que o MESU atinge um equilíbrio sólido entre memorização e adaptação. Em vários conjuntos de dados, incluindo a classificação de imagens de animais, o reconhecimento de dígitos permutados e o aprendizado incremental de objetos, o MESU reduz significativamente tanto o esquecimento quanto a rigidez do aprendizado, ao mesmo tempo que fornece estimativas de incerteza confiáveis. Ele supera os métodos de aprendizado contínuo baseados na consolidação ou na separação explícita de tarefas.
Além desses resultados, o MESU estabelece um vínculo teórico sólido entre neurociências e aprendizado de máquina, formalizando uma abordagem inspirada no funcionamento cerebral para gerenciar o aprendizado contínuo. Nosso próximo passo consistirá em estender o MESU para modelos probabilísticos compatíveis com o hardware embarcado, a fim de tornar esse aprendizado contínuo bioinspirado aplicável a dispositivos de IA reais e de baixo consumo de energia.