Le 1 juin 1822, Louis XVIII nomme Charles-Hyacinthe His « inspecteur général des bibliothèques et des dépôts littéraires de la France ». Il semble que cette nomination ait été au moins en partie motivée par la volonté d'écarter l'intéressé, alors chef de la division de la Librairie, de ses fonctions précédentes. His exerce ses fonctions jusqu'en 1848, mais ne semble avoir rédigé qu'un seul rapport. Dès 1838, un second inspecteur, Ravaisson-Mollien, est nommé avec le titre d'« inspecteur général des biblbiothèques publiques de France ». Un poste d'« inspecteur des biblbiothèques des facultés » est confié en 1873 à Henri Baudrillart, avec compétence sur les bibliothèques des lycées.
L'année suivante, le champ de l'inspection est étendu aux bibliothèques populaires. En 1878 sont créés deux postes spécifiques d’« inspecteurs généraux des bibliothèques populaires et scolaires ».
L'inspection des bibliothèques a été jointe à partir de 1884, en vertu du décret du 21 mars, à celle des archives (qui avait été créée en 1853), avec quatre inspecteurs généraux des bibliothèques et des archives. Toutefois le nombre d'inspecteurs est réduit à trois en 1888 puis à deux en 1921.
Cette situation dure jusqu'en 1945, quand le décret du 13 septembre instaure trois inspecteurs généraux des bibliothèques et de la lecture publique. Le nombre d'inspecteurs passe à quatre en 1969 puis à huit en 1988.
Les inspecteurs généraux ont pendant longtemps constitué un corps distinct de la fonction publique. Avec la réforme de 1992, ce corps a été mis en extinction et ce sont désormais des conservateurs des bibliothèques, ayant atteint au moins le grade de conservateur en chef, qui sont nommés inspecteurs généraux.