- XI siècle : La famille de Semur (Damas) fait construire le premier poste de défense.
- XV siècle : La famille de Lévis reprend la forteresse, à la suite du mariage en 1425 d'Eustache de Levis avec Alix de Couzan-Levieux, fille de Hugues VI Levieux, baron de Damas-Couzan, dit "Hugues VI de Damas".
- XVII siècle : Le château est acquis par la famille de Luzy en 1622. Cette dernière reprend le nom de marquis de Couzan et premier baron du Forez. Cette branche des Luzy s'éteint à la fin du XVIII siècle. Le château sera repris par Marthe de Luzy-Couzan, fille de Balthazar de Luzy-Couzan, qui épousera Antoine François de Thy de Milly. Le château restera dans la famille des Comtes de Thy de Milly jusqu'en 1932.
- 1932 : Acquisition par la DIANA qui entreprend de gros travaux de restauration, le château étant resté inhabité depuis la révolution.
Le site constitué par les abords du château a été inscrit monument historique le 22 août 1947 alors que les vestiges du château étaient classés depuis le 20 décembre 1890
