Peu après la Libération, sont apparus des « conseils de parents d'élèves » auprès des écoles primaires. Ces associations réunissaient en fait enseignants et parents adhérents en partant du principe que le but poursuivi par les uns et les autres était le même : l'épanouissement des élèves et la défense de l'école laïque, malmenée par le régime de Vichy.
Sous l'influence d'Henri Aigueperse, secrétaire général du Syndicat national des instituteurs et d'Albert Bayet, président de la Ligue française de l'enseignement a ensuite été créée la « Fédération des conseils départementaux de parents d'élèves », datée officiellement du 23 avril 1947 puis reconnue d'utilité publique en 1951 et mouvement d'éducation populaire en 1982.
Après le vote de la loi Debré en 1959, qui accordait d'importants moyens financiers publics aux écoles privées, la fédération décide de s'implanter aussi dans le second degré où existaient déjà quatre ou cinq fédérations dont la Fédération des lycées et collèges qui deviendra par la suite la Fédération des parents d'élèves de l'enseignement public (PEEP). La FCPE y devient rapidement majoritaire.
Issue d'un syndicat d'enseignants et liée à la galaxie d'organisations apparentées, le FCPE tente de s'en détacher, au moins sur le plan formel. À partir de 1971, la Fédération de l'éducation nationale et ses syndicats ainsi que les organisations comme le Comité national d'action laïque, dont elle est membre, n'ont plus voix délibérative au conseil d'administration. Depuis 1980, ils n'en sont plus membres en eux-mêmes. . La FCPE est généralement en phase avec les enseignants, et s'attache à insister sur les convergences entre parents et professeurs (revendications de recrutements d'enseignants, d'ouverture ou maintien de classes, de "service public" contre l'école privée, ...).