Pero detrás de esta proeza se esconde un desafío fundamental: ¿cómo consiguen estos sistemas inventar nuevos datos (imágenes, sonidos, vídeos,...), es decir, generalizar, en lugar de simplemente memorizar y luego repetir exactamente lo que han "aprendido"?
Imagen de ilustración Pixabay
Gracias a un enfoque interdisciplinario que combina física estadística, informática y experimentos numéricos, Tony Bonnaire y sus colaboradores han hecho un descubrimiento esencial sobre el proceso de aprendizaje de los modelos de difusión: han puesto de relieve dos escalas de tiempo distintas y predecibles, con una primera fase de generalización independiente de los datos de entrenamiento, seguida mucho más tarde de una fase de memorización que depende del tamaño del conjunto de datos.
El equipo muestra que el tiempo de memorización retrocede a medida que aumenta el número de datos de entrenamiento, explicando así que las IA generativas basadas en modelos de difusión permanecen mucho tiempo en una fase en la que crean datos nuevos.
Al demostrar que el rendimiento observado de los modelos de difusión y su éxito práctico se basan en un mecanismo demostrable y medible que retrasa naturalmente el sobreentrenamiento, el trabajo de Tony Bonnaire y sus colaboradores ofrece una comprensión profunda y aprovechable de los mecanismos que gobiernan la IA generativa moderna.