En 1811, un décret édicte la réunion, en une seule école secondaire ecclésiastique par département, de toutes les écoles de ce genre y existant. C'est ainsi que l'abbé Étienne Fière transféra à Valence, l'école qu'il avait créée à Saint-Jean-en-Royans, et en fut le premier supérieur. En 1830, le petit séminaire comptait 200 élèves. Le 6 août 1834, le conseil Episcopal décida la construction d'un nouveau local dont les fondations furent ouvertes le 24 août 1835, sur le terrain acquis au quartier de Charran à Valence. Il prit le nom de Petit Séminaire Notre-Dame. En 1838, au mois d'octobre la première rentrée réunit environ 200 élèves (l'année scolaire va alors d'une seule traite de la mi-octobre à la mi-août sans aucun congé). La vie sur la colline se déroule sans changement profond de 1838 à 1906, date à laquelle la loi de séparation oblige à dissoudre les séminaires et à abandonner les locaux. Après un passage temporaire, pour les élèves des trois classes supérieures, au patronage Saint-Hyppolyte à Romans, l'Institution s'établit dans les bâtiments des Frères Maristes à Saint-Paul-Trois-Chateaux.C'est là qu'elle est devenue Institution Notre-Dame (petit séminaire). L'évêché considérait toutefois cette solution comme provisoire et sans la guerre de 1914-1918,l'Institution aurait été rapatriée à Valence dès 1914 ou 1915. Mais elle ne le fut qu'en 1920 grâce à Monseigneur Paget. La rentrée d'octobre s'effectua dans des bâtiments inachevés(une seule aile terminée, la chapelle restait à l'état de projet). Le régime était toujours l'internat et pendant quelques années les externes et les demi-pensionnaires demeurèrent rares.