« Quand Rouland prit possession du portefeuille de l'instruction publique et des cultes, après l'intérim du maréchal Vaillant, il s'en fallait du tout que l'Université fût réconciliée avec l'empire. », écrit Ferdinand Buisson.
Rouland eut à travailler dans des conditions difficiles, ne pouvant jamais heurter de front les ultramontains, il souhaite néanmoins affranchir l'enseignement de la toute puissance du clergé, même si il juge important que la religion soit enseignée à l'école.
Pour connaître les besoins de l'école primaire, Rouland fait mettre au concours pour les instituteurs publics de France la question suivante:« Les besoins de l’instruction primaire et les réformes qu’ils leur semblaient nécessaires, au triple point de vue de l’école, des élèves et du maître » On promettait une récompense de 1.200 francs au premier classé, 600 francs au second et 200 francs à chacune des six mentions honorables. Il y eu plus de six milles mémoires en réponse, sur lesquels mille deux cent sept obtinrent la note Bien. Il fallut même augmenter le nombre des récompenses.
Rouland augmente le salaire des instituteurs et se préoccupe du versement régulier du salaire du institutrices. Il fait rédiger un projet de loi, qui n'aboutit pas, sur l'obligation d'ouvrir une école de filles dans toutes les communes de 500 habitants ainsi qu'une école normale d'institutrices par académie. Il ébauche l'organisation de l'enseignement professionnel.
Gustave Rouland passe pour être l'inventeur des bibliothèques scolaires. L'arrêté du premier juin 1862 commençait par ces mots:« Il sera établi dans chaque école publique primaire une bibliothèque scolaire. Cette bibliothèque sera placée sous la surveillance de l'instituteur dans une des salles de l'école dont elle est la propriété. Les livres seront rangés dans une armoire-bibliothèque conforme au modèle annexé à la circulaire du 31 mai 1860... »
Il favorise l'essor des sociétés savantes sur le territoire français auxquelles il reconnaît le mérite de diffuser la Culture et la connaissance dans différents milieux. Pour ce faire, il institue en 1858 trois prix de 1500 francs récompensant les meilleurs travaux en Sciences, Archéologie, Philologie et Histoire.
En 1862 il est élevé au grade de Grand-croix de la Légion d'honneur.
Remplacé par Victor Duruy le 22 juin 1863, il devint vice-président du Sénat, Ministre présidant le conseil d'État, Président du Conseil d'État du 18 octobre 1863 au 28 septembre 1864 et enfin gouverneur de la Banque de France de 1864 à 1879.