Les premières traces du château apparaissent en 830 avec la construction d'un castrum par l'abbé Hilbold, du monastère de Saint-Philbert. Il servait à défendre les moines et la population de l'île contre les vikings.
Le château est reconstruit en pierre au XII siècle par le pouvoir féodal qui essaie de stabiliser la région notamment en empêchant les pillages normands. L'île se retrouve alors sous la coupe des seigneurs de La Garnache. Le donjon est construit par Pierre IV de La Garnache, puis une enceinte pourvue de tours est construite et entoure la basse-cour.
Au XIV siècle, le château est détenu par la famille de la Trémoille, alors vicomte de Thouars.
Le château va résister à de nombreuses attaques :
- les Anglais en 1342 et en 1360 puis en 1386 sous les ordres du comte d'Arundel,
- les Espagnols en 1524 puis en 1588.
Mais en 1674, il est pris par les troupes hollandaises de l'amiral Tromp.
En 1690, une maison est construite dans l'enceinte du château par le seigneur de La Paunière, gouverneur de l'île et du château. Il en fit sa demeure.
Le château est vendu en 1720 à Louis IV Henri de Bourbon-Condé qui le revend en 1767 à Louis XV.
Durant la Révolution, le château servit de prison militaire : le Général d'Elbée y sera incarcéré avant d'être fusillé sur la place du bourg par les troupes républicaines, assis dans un fauteuil (le siège est depuis conservé dans une salle du château). En 1871, durant la Commune, des insurgés y furent emprisonnés.
Depuis 1993, le château de Noirmoutier accueille à l'intérieur de ses murs, dans sa cour, des représentations du "Festival de Noirmoutier-en-l'Ile", organisé par le "Théâtre Régional des Pays de la Loire". Festival estival théâtral et musical qui se déroule chaque année au mois d'août.
