Si las IA pueden programar, ¿pueden crear otras IA por sí mismas? 🤖

Por Julien Romero - Profesor titular en Inteligencia Artificial, Télécom SudParis – Institut Mines-Télécom

Los sistemas de inteligencia artificial son capaces de escribir líneas de código y controlar una computadora. ¿Qué les impide crear otras IA?

A finales de octubre de 2024, Anthropic presentó Computer-Use, un programa que permite a su modelo de inteligencia artificial Claude controlar una computadora como un humano. ¿Qué pasaría si una IA también pudiera acceder a recursos financieros para adquirir máquinas adicionales y servicios? Esta hipótesis, aunque exagerada, plantea una pregunta fascinante. ¿Podría una IA realmente volverse autónoma y crear otras IA sin intervención humana?


Como veremos, grandes empresas como OpenAI, Facebook o Google ya utilizan IA para entrenar IA cada vez más complejas, y esto no es un secreto para nadie, ni siquiera para las IA.

Las IA entrenan a otras IA

Para entender cómo esto es posible, debemos retroceder y explicar lo que permitió los recientes avances. Todo comienza en 2017 cuando un equipo de investigadores de Google publica un artículo científico: "Attention is all you need" (La atención es todo lo que necesitas). En esta publicación, los investigadores introdujeron una nueva arquitectura neuronal llamada "Transformers" que aprende a qué palabras prestar "atención" para poder generar la siguiente palabra. Esta arquitectura Transformers estructura ahora todas las redes neuronales de las IA modernas que generan texto.

La aparición de los Transformers llevó a OpenAI a lanzar en 2018 la primera versión de GPT para generar texto. Aunque los principios fundamentales han evolucionado poco desde entonces, la escala y la ambición de los "grandes modelos de lenguaje" (o large language models, LLM en inglés) han explotado.

Así, en mayo de 2020, la llegada de GPT-3 marca el inicio de una categoría de IA capaz de modelar, mediante gigantescas redes neuronales, los lenguajes humanos, ya sean naturales como el francés o formales como el C++ en informática. Cabe destacar que modelar con estadísticas no significa comprender con procesos cognitivos, y estas IA aún producen respuestas absurdas a preguntas triviales.

Los modelos pasaron de 1.500 millones de conexiones para GPT-2 a varios cientos de miles de millones para GPT-3 y sus sucesores, lo que equivale a pasar del cerebro de una abeja al de un hámster en términos de número de sinapsis. Sin embargo, el aumento de su tamaño se ha ralentizado en los últimos años, y ya no es el principal motor de progreso.

Más bien, debemos observar los cambios metodológicos que tienen lugar antes y después del entrenamiento del modelo.

Datos más numerosos y de mejor calidad

El entrenamiento de los LLM se basa en textos que sirven como referencia para enseñarles a predecir la siguiente palabra en una frase. Para mejorar este aprendizaje, se utilizan cada vez más datos: GPT-2 se entrenó con 30.000 millones de palabras (organizadas en frases, párrafos y textos), frente a los once billones de LLaMa-3.

Sin embargo, no todos los textos, provenientes principalmente de la web, tienen la misma calidad. Por ello, los ingenieros utilizan algoritmos de limpieza y, más recientemente, los propios LLM para mejorar, reformular o generar estos datos (por ejemplo, para LLaMa-3 o Qwen 2.5).

Así, aunque las IA ya participan en el entrenamiento de otras IA, esta práctica sigue limitada por la lentitud de los LLM. GPT-4 tardaría unos 17.000 años en generar solo once billones de palabras (aproximadamente 500 terabytes de datos).

Una vez reunidos, limpiados y generados los datos, llega la fase de aprendizaje propiamente dicha. Esta fase sigue siendo difícil de implementar y requiere una cantidad colosal de recursos de cálculo, pero poco ha cambiado desde la primera versión de GPT en 2018.

Guiar el aprendizaje de una IA proporcionándole retroalimentación constructiva

Por otro lado, los investigadores se han centrado en mejorar un LLM después de su entrenamiento. De hecho, uno de los problemas de un LLM en bruto es que es impredecible y no necesariamente se ajusta a las necesidades humanas en términos de habilidades (reclutamiento, diagnósticos médicos, matemáticas) o comportamientos éticos y sociales (chatbots políticamente correctos, sin discriminación y respetuosos con las leyes).

La idea es, por tanto, calibrar los LLM para que se ajusten mejor a las preferencias de sus usuarios. Para ello, la técnica del aprendizaje por refuerzo a partir de retroalimentación humana pide a humanos su opinión sobre textos generados y entrena a los LLM para complacer a los humanos.

Este proceso permitió un gran salto adelante en 2022 con InstructGPT, un precursor de ChatGPT. Sin embargo, es extremadamente costoso, ya que requiere mucho trabajo manual. LLaMa-3 necesitó la anotación de diez millones de preferencias por parte de humanos. Estos trabajadores a menudo están mal pagados y en situaciones precarias.

Por eso, los investigadores buscan prescindir al máximo de la ayuda humana.

Cuando las IA forman a otras IA

En julio de 2024, un equipo de científicos de Microsoft publicó AgentInstruct, un nuevo método que permite enseñar nuevas habilidades y comportamientos a los LLM.

Este método se centra en la creación de "agentes" especialistas en numerosos campos (matemáticas, código, medicina) que sirven como profesores para el sistema en aprendizaje. En este caso, un agente es en sí mismo un LLM, pero aumentado con datos y herramientas externas adicionales, como una calculadora, Internet o un compilador de código informático. Mejor equipado y especializado que un LLM solo, sobresale en su campo de predilección. AgentInstruct utiliza un batallón de agentes que enseñan su conocimiento a un LLM.

El resultado: el LLM progresa sin acceso a ningún otro recurso, a diferencia de los agentes. Por ejemplo, un agente equipado con una calculadora puede mejorar el cálculo mental de un LLM.

De la misma manera, gracias al programa Computer-Use, Claude podría explotar numerosas herramientas informáticas para recopilar, limpiar y organizar sus propios datos, e incluso entrenar modelos de IA de manera más autónoma movilizando agentes especializados. Pregúntale, por cierto, cómo podría mejorarse a sí mismo y es más o menos lo que te responderá (eso, o reclutar un ejército de humanos para anotar datos).

Pero entonces, ¿cómo explicar que aún no sea capaz de reproducirse y mejorarse?

Antes de una IA que sepa reproducirse, un largo camino técnico y preguntas éticas

Esta capacidad para crear agentes especializados plantea preguntas cruciales. ¿Quién controla a los agentes? Si las IA participan en su propia mejora, ¿cómo garantizar que su evolución siga siendo ética y alineada con los intereses humanos? El papel de los desarrolladores y reguladores será central para evitar posibles desviaciones.

Aún no estamos allí por varias razones. Los LLM actuales, aunque potentes, son limitados: les cuesta planificar proyectos complejos, requieren ajustes constantes durante su entrenamiento y aún dependen en gran medida de la intervención humana, especialmente en los data centers, para gestionar y mantener las máquinas físicas.

Además, sin voluntad propia, no pueden fijarse objetivos autónomos, independientes de las preferencias humanas aprendidas. Sam Altman, CEO de OpenAI, menciona la posible emergencia de una inteligencia artificial general para 2025, pero esta predicción sigue siendo controvertida, ya que supondría avances técnicos y una mejor comprensión de los mecanismos cognitivos humanos.

El éxito de los LLM se basa en cuatro pilares: el aumento de su tamaño, las innovaciones arquitectónicas, la mejora de las técnicas de calibración y el perfeccionamiento de los datos. Los avances recientes, especialmente la automatización mediante agentes especializados, ya muestran que las IA desempeñan un papel creciente en la creación de otras IA. Sin embargo, sin voluntad propia ni verdadera autonomía, la idea de una IA capaz de multiplicarse o mejorarse de manera independiente sigue siendo ciencia ficción.

De hecho, una revolución de esta magnitud requeriría un cambio de paradigma actual, con arquitecturas neuronales capaces de inteligencia verdaderamente adaptativa y generalizada. Actualmente, una vez finalizada la fase de aprendizaje, las redes neuronales de los LLM se vuelven estáticas: no pueden evolucionar ni adquirir nuevas habilidades de manera autónoma, incluso después de millones de interacciones con usuarios humanos.

A diferencia de los humanos, que aprenden en contacto con otros o mediante reflexión interna, los LLM no tienen mecanismos que les permitan adaptar dinámicamente su estructura interna o construir representaciones profundas y revisables del mundo exterior. Yann LeCun, premio Turing francés de 2019, imagina una nueva generación de IA dotadas de modelos internos, capaces de simular hipótesis y planificar como lo haría un ser humano, integrando observaciones para compararlas con expectativas preexistentes. Sin embargo, la implementación práctica de esta visión sigue siendo un desafío científico.

Quizás un avance tan determinante como el de los Transformers en 2017 ocurra en los próximos años. Pero por ahora, la visión de inteligencias artificiales completamente autónomas, al estilo de las sondas de Von Neumann colonizando el universo, sigue siendo hipotética.

Este escenario nos invita, sin embargo, a reflexionar hoy sobre los desafíos éticos y los controles legislativos y técnicos necesarios para guiar la evolución de estas tecnologías.