Le séminaire des Eudistes de Caen est l'un des premiers séminaires fondés par Jean Eudes. Le bâtiment, construit dans la deuxième partie du XVIIe siècle sur la place Royale de Caen, a été transformé en hôtel de ville pendant la Révolution française. À partir du XIXe siècle, il a abrité également le musée des Beaux-Arts de Caen et la bibliothèque municipale. Il a été totalement détruit en 1944 pendant la bataille de Caen et n'a pas été reconstruit.
En 1643, Jean Eudes quitte la Congrégation de l'Oratoire et s'installe dans une maison de la rue des Jésuites en face de l'abreuvoir Saint-Laurent. Il y fonde avec quelques frères qui l'ont suivi la Congrégation de Jésus et Marie et ouvre un séminaire. Ils aménagent les locaux en construisant notamment une chapelle. L'institution est fermée par l'évêque de Bayeux, Mgr Molé, avant d'être rétablie en 1652 par son successeur, Mgr Servient. Mais la "vieille Mission" est devenue trop exiguë. L'évêque de Bayeux fait alors l'acquisition en 1658 du lot de terrains à l'ouest de la place Royale en cours d'aménagement pour que Jean Eudes fasse construire un nouveau séminaire.
La première pierre de l'église est posée le 20 mai 1664. Jean Eudes décide de dédier l'édifice aux Très Saints Cœurs de Jésus et Marie, cette dédicace étant confirmée en 1674 par le pape Clément X. Menés par Guillaume Brodon, les travaux sont interrompus au moins à quatre reprises faute de moyens financiers suffisants. Trois jours après la mort de Jean Eudes, survenue le 19 août 1680, son corps est inhumé dans le chœur de l'église encore en construction. Il est déposé dans un cercueil en plomb recouvert par une dalle de marbre blanc sur laquelle est gravée cette épitaphe :
L'église est finalement consacrée le 23 novembre 1687.
La construction du séminaire proprement dit ne commence que le 1er septembre 1691, plus de dix ans après la mort de Jean Eudes, et se termine en février 1703. Mgr François de Nesmond contribue financièrement à son érection et ses armoiries sont gravées sur la porte d'entrée du séminaire. À gauche de l'église, s'élève le grand séminaire, destiné à la formation des jeunes gens qui se destinent à la prêtrise ; à droite, le bâtiment accueille le petit séminaire, internat fréquenté par de jeunes garçons dont certains deviennent ensuite les élèves du grand séminaire. En 1731, une nouvelle aile est construite à la place de bâtiments utilitaires couverts de chaume ; la première pierre, posée le 2 juillet 1731, a été retrouvée en 1953 lorsque le tracé de la rue Jean Eudes a été modifié. À cette époque, le plan du séminaire prend la forme d'un E.
La façade fermant la place Royale reprend l'ordonnancement caractéristique du classicisme français. Cette harmonie d'ensemble est rompue par la façade de la chapelle ; comme l'église Sainte-Catherine-des-Arts (actuelle Notre-Dame-de-la-Gloriette) construite à proximité entre 1684 et 1689, l'église des Très-Saints-Cœurs-de-Jésus-et-Marie s'inspire de l'église du Gesù et la croisée du transept est surmontée d'un lanternon.
Quand Jean Eudes meurt en 1680, le séminaire de Caen contrôle quatre autres séminaires en Normandie et un à Rennes. La congrégation continue ensuite sa progression et, au moment où la Révolution française éclate, le séminaire de Caen est à la tête d'un réseau de seize séminaires disséminés dans le nord-ouest de la France.