Défendu par la vallée escarpée de l'Anglin au sud, et par de profonds fossés (disparus) au nord, le château féodal a été construit au XI siècle. Il fut édifié à l'emplacement d'un castrum romain, commandant la voie romaine de Bourges à Poitiers et dont on retrouve trace sur la table de Peutinger. Du Guesclin, allant de Sainte-Sévère à Poitiers suivit les bords de l'Anglin, prenant à la hâte les forteresses qui la bordaient aux envahisseurs. Le pays était anglais à cette époque, faisant partie du fief d'Aliénor d'Aquitaine.
Le château fut ensuite reconstruit aux XIV siècle et XV siècle. Les vestiges nous restent aujourd'hui. La charpente de la tour à hourds a été datée de 1465. Henri IV, lors de ses guerres contre la Ligue, conquit le château et le donna au seigneur du Blanc, Antoine d'Aloigny, en remerciement de son aide.
Les tours en poivrières du donjon et de l'enceinte furent semble-t-il tronquées en application des décrets royaux de 1626 ordonnant la destruction de l'appareil militaire des places-fortes du royaume. Marie-Henriette d'Aloigny, citée par Saint-Simon comme étant une intrigante, fut exilée de la cour de Versailles et vécut au château d'Ingrandes où elle y fit construire le logis XVII siècle et l'église du village (1698). Après la mise en vente en 1734 à la suite de la déroute financière de sa propriétaire, le fermier général Claude Dupin, grand-père de George Sand (née Aurore Dupin), devint, en 1739, acquéreur de l'ensemble des châteaux du Marquisat du Blanc (Roches, Forges, Ingrandes, etc.). Les circonstances de la destruction du corps de logis sont mal connues : celle-ci pourrait remonter à la fin du XVIII siècle. Le château d'Ingrandes resta la propriété des descendants Dupin, le baron de Villeneuve jusqu'au début de ce siècle. En 1923, il devint alors la propriété de la famille Combescure qui l'exploita en tant que ferme jusque dans les années 1970.
Alain et Jacqueline Drouart font l'acquisition des ruines du château féodal d'Ingrandes en 1982. Un dossier de demande de protection est déposé. Le château est inscrit à l'inventaire supplémentaire des Monuments historiques par arrêté préfectoral le 1 octobre 1987. À ce jour, le logis du XV siècle est totalement restauré, le donjon est sauvé et les travaux se poursuivent. En 2005, un Hourd a été reconstruit sur une des tour d'enceinte. Le 17 avril 2008, une nouvelle toiture se pose sur la tour escalier.
