Le château actuel a été construit à partir de 1470 sur un site fortifié remontant au X siècle. A la fin du Xe siècle il appartenait aux chevaliers de Chantemille et passa par mariage dans plusieurs familles de chevaliers dont les La Chapelle Taillefer, les Le Fort des Ternes, Pierrebuffière et aussi un neveu de Grégoire XI, Guillaume de Besse.
Cet emplacement permettait de contrôler le passage de la Creuse.
Le bâtiment actuel a été construit par Louis du PUY sénéchal de la Marche et resta dans cette famille pendant 5 générations avant de passer par mariage à Louis Chasteigner de La Rocheposay, gouverneur de la Marche. Il fut vendu pour la première fois en 1609 à la famille Mérigot de Sainte Feyre qui le conserva jusqu'en 1845 environ. Le château est inscrit Monument historique depuis par arrêté du 28 mars 2000Château de Chantemille, sur la base Mérimée, ministère de la Culture.