Les bâtiments qu’occupe le collège sont construits sur un site qui est riche en histoire. Déjà habité à l’époque romaine, le terrain fut donné à l’Église au treizième siècle par la famille Harpedan de Belleville, seigneurs de Montaigu, de descendance anglo-normande. Les moines de Luçon y construisirent un prieuré, dédié à Saint Antoine d'Égypte.
C'est en 1802, après la Révolution, que le Vénérable Louis-Marie Baudouin créa le Petit Séminaire de Chavagnes-en-Paillers. Déjà le premier petit séminaire en France reconnu sous Napoléon, une charte royale fut accordée à l’établissement par Charles X en 1825, sous l’appellation de ‘l’École ecclésiastique de Chavagnes’.
Les bâtiments ont été confisqués à l'Église en 1905 dans le cadre de la répression anti-cléricale dans toute la France. Les prêtres alors impliqués dans l'éducation des garçons à Chavagnes se sont exilés à Shaftesbury dans le Dorset. En 1912, les bâtiments furent rachetés par un aristocrate, le comte de Suzannet et rouverts en tant que petit séminaire, au grand désespoir des autorités de Paris.
Le Collège fut partagé entre les soldats allemands et les jeunes séminaristes au cours de la Seconde Guerre mondiale, avec une petite garnison et un hôpital militaire. Une mitrailleuse séjournait dans la tour de l'horloge qui domine le village, mais les soldats nazis ont fermé les yeux à la présence de plus de 50 enfants juifs protégés par des familles d'accueil jusqu'à la libération. Les villageois étaient si bien à garder un secret en ce qui concerne les enfants juifs cachés, que l'information n’est apparue que pendant les années 1990.
En 1997, comme cela s'est produit plusieurs fois auparavant dans l'histoire de Chavagnes, l'édifice a fermé ses portes pour un temps. En 1999, le bâtiment abritait 50 réfugiés du Kosovo.
En septembre 2002, dans ces mêmes locaux s'est installé une institution catholique internationale, en continuité avec l'histoire du lieu, et avec l'accord de l'Évêque de Luçon.