La France est probablement un des États où les loisirs collectifs de mineurs sont les plus structurés. Le phénomène des centres de vacances est vieux de plus d'un siècle et trouve son origine dans le secteur confessionnel. Vers le milieu du XIXe siècle, les églises catholique et protestantes ont été les premières institutions à prendre en charge et à organiser les loisirs collectifs. Elles s'adressent alors essentiellement aux enfants d'ouvriers. Le phénomène d'urbanisation rapide a entraîné l'apparition d'une classe ouvrière urbaine qui vit dans des conditions sanitaires parfois difficiles. L'objectif des institutions ecclésiastiques est alors essentiellement sanitaire et cultuel. En Suisse, le pasteur Hermann Walter Bion invente en 1876 le premier séjour d'enfants à la montagne qu'il nomme « colonie de vacances ». Ce pasteur, nommé dans un quartier ouvrier de Zurich, décide d'emmener les enfants d'ouvriers passer quelques jours dans le village d'où leurs parents sont originaires. Les 68 enfants étaient encadrés par dix adultes. Le pasteur Bion voulait pour ses enfants des conditions de vie « simples et réduites au strict nécessaire ». Les garçons dormaient sur le foin ou la paille dans des granges, les fillettes chez des paysans. Les enfants se voyaient confier des tâches ménagères, mais, surtout, ils profitaient du grand air (promenades, excursions, cueillettes de fruits et de fleurs). Ce pasteur constate à leur retour combien le grand air et l'activité physique ont été bénéfiques à la santé de ces enfants. Dans les années qui suivirent, ces séjours se multiplièrent en Suisse mais également par contagion en France.
En se basant sur le même projet sanitaire et social, les patronages et les mouvements laïques mettent en place des centres de vacances. L'apparition en 1866 de la Ligue française de l'enseignement marque cette volonté de structuration d'un mouvement laïque d'organisation des vacances d'enfants. Désormais le secteur des centres de vacances poursuivra la dichotomie du système scolaire et l'opposition entre le curé et l'instituteur aura ses ramifications dans l'organisation des séjours de vacances.
En 1909, le scoutisme apparait en France. Venu d'Angleterre, le mouvement initié par Baden Powell est d'abord développé en France à Nantes par le pasteur Jean-Paul Morley en 1909 puis par les protestants des unions chrétiennes de jeunes gens (éclaireurs unionistes de France) et les laïques (éclaireurs de France) en 1911. D'abord condamné par l'Eglise catholique romaine comme étant un outil pédagogique anglais et protestant, le scoutisme est repris en 1920 par le père Jacques Sevin, jésuite d'origine lilloise. Ce mouvement va créer une véritable révolution en introduisant une dimension ludique et éducative aux vacances des jeunes. Véritable pédagogue, le RP Sevin repense la place de l'enfant dans le centre de vacances, initie de nouvelles activités autour de la nature et participe à la création des premières formations d'encadrants.
La période de l'entre-deux-guerres est celle de l'apparition et du développement des mouvements d'éducation populaire (CEMEA, UFCV...). Parallèlement, la municipalisation des colonies de vacances devient un phénomène particulièrement visible dans les banlieues socialistes et communistes. Dès lors, les centres de vacances ne sont plus à strictement parler des œuvres de charité mais deviennent une véritable institution d'éducation populaire et de loisirs toujours destinés aux enfants des classes populaires mais aussi aux enfants des classes moyennes.
En 1936, le Front populaire relance la dynamique des centres de vacances avec la création du premier Secrétariat aux loisirs et aux sports que dirige Léo Lagrange. La structuration des centres de vacances se mesure également avec l'organisation en 1937 du premier « centre d'entraînement pour les personnes encadrant les colonies de vacances ». Préfiguration des stages BAFA, cette formation qui se déroule au pied de la montagne Sainte-Victoire est suivie en 1938 par la première formation de directeurs.
Les comités d'entreprise instaurés au lendemain de la Seconde Guerre mondiale vont s'approprier une grande part de l'organisation des centres de vacances. Cette activité deviendra même leur activité principale. Ces comités d'entreprises procèdent alors à d'importants investissements immobiliers. Une grande partie du parc immobilier actuel des centres de vacances résulte de ces constructions. En 1947, l'État finance les colonies de vacances à presque 90 % et crée en 1954 le premier diplôme national de moniteur et de directeur. Les mouvements d'éducation vont alors mettre en œuvre des programmes de formation. Les pratiques un peu rigides des centres de vacances (promenade, repas, promenade, repas, repos) vont s'étendre à des expériences éducatives nouvelles issues de l'éducation nouvelle.
Les années 1980 vont voir une diminution substantielle du nombre de mineurs inscrits en centre de vacances et le développement du nombre d'inscrits en centre de loisirs. Pour de nombreux analystes, cette mutation n'est pas forcément due à un transfert mais à la naissance de besoins qui n'étaient pas encore couverts. En effet, le centre de vacances qui depuis 1973 a officiellement perdu son appellation de « colonie » appartient au secteur du temps libre alors que le centre de loisirs est perçu comme un mode de garde de proximité à moindre coût. La diminution du temps de travail (Passage aux 35 heures, RTT...) libère du temps pour les adultes. Les classes moyennes désertent les centres de vacances au profit de vacances familiales. Les centres de loisirs occupent une place de plus en plus importante dans le loisir « quotidien » de proximité. Les structures offrent progressivement des créneaux d'ouverture de plus en plus larges : les petites vacances scolaires d'abord puis dans un second temps les mercredis et samedis et enfin le temps de loisirs avant et après l'école avec l'apparition des accueils périscolaires.