Au temps de la Bretagne indépendante, le château, situé à un carrefour avec l'Anjou et le Poitou, est l'une des grandes places fortes frontalières du duché de Bretagne.
Les premiers seigneurs de Clisson occupent le site dès le début du XI siècle. Ils sont mentionnés pour la première fois en 1040. Clisson est alors le siège d'une puissante châtellenie couvrant vingt-trois paroisses.
La majeure partie du château actuel date du XIII siècle. Construit par Guillaume de Clisson, sur un éperon rocheux dominant la Sèvre, il se présente à cette époque sous la forme d'un polygone irrégulier flanqué de tours cylindriques et isolé du plateau rocheux par un fossé peu profond.
Au XIV siècle, Olivier III de Clisson incorpore le châtelet servant d'accès dans un gros donjon quadrangulaire. Les deux tours semi-circulaires constitutives du châtelet s'écroulent au XVII siècle. Le château devient le cadre des vies mouvementées d'Olivier IV de Clisson puis d'Olivier V de Clisson, nommé connétable de France en succession de Du Guesclin en 1380.
Au XV siècle, les fortifications sont modernisées afin de permettre l'utilisation de l'artillerie. Dans la seconde moitié du siècle, l'ancienne entrée est modifiée et la courtine est prolongée et complétée par une barbacane. Dans le même temps, le château est agrandi à l'ouest par un nouvel enclos rectangulaire de près de cent mètres de longueur, armé de tours avec casemates pour l'artillerie.
Après 1420, le château devient propriété du duc de Bretagne. Il est alors l'une des résidences préférées du duc François II de Bretagne qui s'y remarie avec Marguerite de Foix en 1474. Il fait construire une seconde enceinte rectangulaire flanquée de tours d'artillerie.
Vers 1590, la période troublée des guerres de la Ligue nécessite la construction de trois bastions terrassés à orillons sur le front sud. Trois lignes de défense échelonnées en profondeur protègent ainsi cette place de guerre.
Jusqu'au XVIIe siècle, le château est la résidence de la famille d'Avaugour, issue de François Ier d'Avaugour, fils bâtard de François II. Il est alors modifié et transformé au goût de l'époque.
Durant les guerres de Vendée, la ville et son château sont incendiés par les colonnes infernales de Jean-Baptiste Kléber.
En 1807, le domaine est racheté par François-Frédéric Lemot, dans le but d'être conservé. Au cours du XIX siècle, le château en ruines attire peintres et sculpteurs romantiques.
En 1962, le château est racheté à la famille Lemot par le Conseil général de la Loire-Atlantique, qui y mène d'importants travaux de restauration avec l'aide du ministère de la Culture.
