Au XI siècle, le château de Pouzauges appartient à la famille de Zacharie de Pouzauges qui la transmet à l'énigmatique famille de Chantemerle, puis à la fameuse famille de Savary de Mauléon et enfin aux vicomtes de Thouars qui administrent presque toute la Vendée ; ils donneront le château à un cadet qui possédera également Tiffauges.
Catherine de Thouars amena le château de Pouzauges dans le giron de Gilles de Rais grâce à leur mariage. Elle vint y résider après la mort de ce dernier. Sous l'égide de Catherine, le donjon subit de nombreux aménagements pour le rendre propice à l'habitation. Un nouvel étage est rajouté ainsi qu'un escalier à vis le reliant à tous les autres. Plusieurs fenêtres sont percées en remplacement des anciennes meurtrières afin de faire pénétrer la lumière à l'intérieur.
Le château sera vendu en 1634 au seigneur de La Pélissonnière au Boupère. Ses héritiers le conserveront jusqu'à la moitié du XX siècle.
Durant les Guerres de Vendée (1793-1794), les hommes d'une "colonne infernale" commandés par le général Lachenay fusillèrent 32 Pouzaugeais qui s'étaient réfugiés dans l'enceinte du vieux château. Cet acte fut commis le 26 janvier 1794 à l'issue d'un banquet offert par ce républicain au général Grignon. Le même jour, les villages alentour furent incendiés et une partie des habitants massacrés.