Créé sous son appellation actuelle en 1976, l'INRP est en fait l'héritier d'une histoire plus ancienne.
Il est issu du Musée pédagogique, créé en 1878. Entre temps avaient été créés également une bibliothèque, puis une phonothèque et une cinémathèques centrales du ministère de l'Éducation nationale ainsi qu'un service des publications de l'Éducation nationale.
En 1954, un établissement public est créé pour réunir le musée pédagogique et tous ces services, établissement qui prend le nom de Centre national de documentation pédagogique par le décret n 55-109 du 19 janvier 1955. Cependant, dès 1956, cet établissement devient l’Institut pédagogique national (IPN).
En 1970, deux décrets du 9 septembre transforment l'IPN en deux organismes, l'Office français des techniques modernes d'éducation (OFRATEME) et l'Institut national de recherche et de documentation pédagogique (INRDP). En 1976 (décrets du 3 août), l'OFRATEME reprend le nom de Centre national de documentation pédagogique (CNDP) et l'INRDP se transforme en INRP. Ce dernier se développe autour d'une double vocation : accueillir des recherches pédagogiques, offrir des ressources documentaires en éducation.
L'organisation de l'INRP évolue : en 1980 est mis en place un conseil scientifique pour suivre les recherches des équipes de l'Institut ; en 1991, la bibliothèque de l'INRP devient centre d'acquisition et de diffusion de l'information scientifique et technique (CADIST) en sciences de l'éducation. Quant au statut, il est modifié par le décret du 5 mars 1993 qui précise et met à jour la définition de l'Institut, qui mène des recherches avec ses partenaires, joue un rôle d'observation et de capitalisation de la recherche. En 2002-2003, l'INRP signe son premier contrat quadriennal avec le ministère de l'Éducation nationale, et rejoint ainsi le processus normal de contractualisation des établissements de l'enseignement supérieur et de la recherche.
Sa délocalisation à Lyon provoque d'importants mouvements de protestation du personnel. En février 2005, des locaux neufs de l'INRP ouvrent à Lyon sur le campus de l'École normale supérieure LSH et seules trois équipes de recherche restent en région parisienne : le Service d'histoire de l'éducation dans les anciens locaux de la rue d'Ulm, La main à la pâte à Montrouge et l'équipe STEF à Cachan dans les locaux de l'École normale supérieure de Cachan.