Le château a servi de modèle au tableau de Jean Metzinger, Le château de Clisson, peint en 1905 et exposé au musée des Beaux-Arts de Nantes.
Les restes du château ont été classés monument historique par décret du 13 août 1924.
Les remparts dont le bastion sud-est et le bastion sud datent de la fin du XVIe siècle et sont reliés par un rempart de liaison.Les deux bastions sud sont de la même époque.
La tour médiévale et la tour ronde dite "cul chaud" appartenaient à l'ancienne enceinte de la ville.
Les douves nord du château, le pont maçonné reliant la rue du Château au château et les terrains formant glacis de protection avancés sous les bastions ont eux été inscrits monuments historiques par arrêté du 30 août 2004.