Tirant son nom des rochers sur lesquels il est bâti, le château du Mont se situe en rebord de plateau, et domine d'une vingtaine de mètres le petit vallon du Rio Brûlé. Les parties les plus anciennes remontent probablement au XIV siècle. Le corps de logis principal a été édifié en 1457, et la vaste grange en 1640. Le tracé carré de la cour close de murs, d'une cinquantaine de mètres de côté, est encore nettement visible. A l'angle sud-est se trouve une tour circulaire ainsi que les fondations d'un ancien corps de bâtiment ruiné après la Révolution. L'angle nord-ouest comporte les vestiges d'une tour carrée contenant anciennement la chapelle, visitée en 1734 par l'archevêque de Bourges.
Le bâtiment principal, d'une vingtaine de mètres de hauteur, consiste en un vaste rectangle flanqué sur chaque face principale d'une tour circulaire, celle du sud contenant l'escalier en vis, et celle du nord supportant deux latrines en bretèche. L'ensemble est couvert par une haute toiture à deux versants percée de lucarnes.