À la fin du XII siècle existait un château de « Richeloc » construit pour les seigneurs de Mauson. En 1201, une chapelle dédiée à Saint-Nicolas-de-Lyre est construite, chapelle du château qui est probablement devenue l'église paroissiale des Sablons. En 1407 est mentionné « l' Hostel de Richelieu » avec douves, que Charles VII autorise à fortifier. Il n'existe plus rien de ce château, remanié au XVI siècle puis entièrement reconstruit au siècle suivant.
Le cardinal Armand du Plessis achète le domaine en 1621. C'était un petit castel avec tours, chapelle, bâtiments de service, et parc. Le modeste château de ses ancêtres ne correspondait plus à sa nouvelle situation et son ascension politique le poussa à un projet ambitieux, capable de rivaliser avec les plus belles demeures de son époque.
Par des lettres patentes de Louis XIII, il fut permis au cardinal de Richelieu de faire bâtir un bourg, clos de murs et fossés avec deux marchés par semaine. Ce bourg est l'actuelle ville de Richelieu, qui s'est développée au nord du domaine. Elle est construite sur un plan de « cité idéale » (à rapprocher aussi avec celui de Brouage, à la même époque, et les villes déjà citées).
Il entreprit des travaux des 1624. Vers 1630, il ambitionne un programme architectural plus vaste associant une ville au château qu'il confie à l'architecte Jacques Lemercier. Chaque maison construite sera vendue à un noble proche de Richelieu. Ce dernier ambitionnait ainsi de se créer une cour proche de son château. Il fit donc édifier une vaste demeure, à laquelle il employa plusieurs millions de livres tournois. Le vieux château fut conservé tant que le nouveau ne fut pas habitable et la chapelle fut conservée au moins jusqu'en 1639, date d'achèvement de l'église de la ville actuelle. Il fit ensuite entièrement raser l'ancien château.
Jacques Lemercier mena donc la construction de la ville et du château, et les décors furent confiés aux plus illustres et aux plus doués artistes de la première moitié du XVII siècle. Richelieu a ainsi conçu un ensemble cohérent et riche visuellement qui était le reflet, à l'intention de ses visiteurs, de sa conception de l'action politique. La construction est achevée avant la mort du cardinal en 1642.
À la mort du Cardinal, les titres ducaux de Richelieu et de Fronsac passèrent à son neveu, puis dans la maison de Vignerot. Le château de Richelieu, résidence ducale, suivit le même devenir.
L'arrière petit-neveu du Cardinal, Louis-François-Armand de Vignerot (1696-1788), fit effectuer des transformations au château de Richelieu, ainsi que l'aménagement des jardins et du parc. Dans les années 1760, il fit réaliser d'importants travaux dans la galerie des glaces qui auraient été confiés à l'architecte Chevotet.
Confisqué à la Révolution française comme bien d'immigré, le château est dépouillé de ses collections et meubles, puis laissé à l'abandon.
En 1805 il est restitué, très abîmé, aux héritiers Richelieu par Napoléon I; ceux-ci le cèdent en 1832 au sieur Boutron qui jusqu'en 1835 entreprend sa démolition quasiment complète pour en revendre les matériaux.
En 1877, le banquier Michel Heine achète le domaine et remet en état le parc. Il fait aussi restaurer le pavillon des communs.
En 1852 un certain M.Laurence, propriétaire transitoire, s'était fait construire dans le parc une résidence de style néoclassique, assez éloignée de l'ancienne demeure.
Après la démolition de l'aile est vers 1900, seul le pavillon central des écuries est conservé.
