La inteligencia artificial progresa a una velocidad vertiginosa. Para los expertos, las pruebas actuales ya no son suficientes para evaluar las verdaderas capacidades de estos sistemas cada vez más sofisticados.
Se está preparando un nuevo examen. Su objetivo: demostrar si una IA puede alcanzar el nivel de experiencia de un ser humano en dominios complejos.
El proyecto, bautizado "Humanity's Last Exam" (El último examen de la humanidad), ha sido lanzado por el Center for AI Safety (CAIS) y la start-up Scale AI. Su propósito es diseñar pruebas capaces de medir las aptitudes de las IA en cuestiones de alto nivel.
Los avances realizados por OpenAI y Anthropic muestran que los sistemas actuales están batiendo récords en pruebas académicas, pero que aún tienen dificultades con tareas que requieren planificación o razonamientos abstractos. La necesidad de exámenes más complejos se vuelve evidente. Dan Hendrycks, director del CAIS, destaca que las pruebas anteriores, que él mismo co-diseñó en 2021, ya son demasiado simples para evaluar las IA modernas. Su relevancia disminuye a medida que los sistemas se vuelven más avanzados.
El núcleo del proyecto es un cuestionario de 1 000 preguntas. Estas preguntas serán lo suficientemente complejas como para desalentar a los no expertos y no deberán ser solventables mediante una simple búsqueda en línea. Parte del contenido se mantendrá en secreto para evitar que las IA aprendan a memorizar las respuestas.
Para elaborar este cuestionario, los organizadores llaman a los expertos de todo el mundo a contribuir al enviar preguntas. Estas propuestas serán revisadas por pares, y las mejores serán recompensadas con premios de hasta 5 000 $. Sin embargo, se impone una restricción: ninguna pregunta podrá estar relacionada con armas, por razones de seguridad. El peligro de un conocimiento no controlado por la IA en este campo es demasiado grande.
Alexandr Wang, CEO de Scale AI, afirma que estas pruebas deben adaptarse a la velocidad de evolución de las IA. Tanto el público como los especialistas están siendo movilizados para crear esta prueba definitiva.
Así que, si tienes cinco años de experiencia en un campo técnico o posees un doctorado en un tema sobre el cual desees desafiar a una IA, tienes la libertad de enviar una pregunta a través de este
formulario en línea.
Podría entonces seguirse un segundo desafío: el uso de los 5 000 dólares. Para este tema, como se puede imaginar, ¡no se necesitará una IA!