Le concours général a été institué en 1744 par l'Université de Paris pour distinguer les meilleurs élèves, à l'initiative de l'abbé Le Gendre, qui avait légué par testament une somme à cette fin.
Les premiers prix furent décernés en 1747 à la Sorbonne. Le concours général s'adressait alors aux garçons des lycées parisiens, de la sixième aux classes de mathématiques spéciales. Interrompu pendant la Révolution (de 1793 à 1803), il exista tout au long du XIXe siècle puis fut supprimé en 1904, en conséquence d'un arrêté ministériel de 1902 empêchant notamment la participation du Collège Stanislas, souvent primé mais dispensant un enseignement congrégationniste combattu par le ministère Combes. Le motif d'une préparation excessive des élèves concourant au détriment des autres élèves fut élevé afin d'invoquer la nécessité de cette suppression. Le concours général fut rétabli en 1921 par le ministre Léon Bérard, mais restreint aux seules classes de première et de terminale.
En 1923, la distinction entre Paris et les départements de province fut supprimée. Il s'est ouvert aux filles en 1924. Limité à l'origine au français, au latin, au grec ancien, à l'histoire, aux mathématiques, à la philosophie et à la physique, il s'ouvre en 1981 aux disciplines technologiques et en 1995 aux disciplines du baccalauréat professionnel.
La session 2007 a vu l'entrée du chinois.