L'ancien château était flanqué de 11 tours, parmi lesquelles on remarquait le donjon de la Tour Carrée, garni de meurtrières et de créneaux et qui s'élevait au milieu de la cour centrale. Il possédait une chapelle, voutée et ornée de fresques, fondée par Pierre de Ragny en 1422. Il fut démoli à la Révolution.
Le terrier de Ragny donne en 1501 les noms des principales tours du château : la tour Salle, la tour de Marsigny, la tour du Loup et la tour de la Contrée.
Du château primitif ne subsiste qu'une galerie avec trois arcades, située au rez-de-chaussée et datée de la fin du XIIe siècle. Datant du manoir primitif, il s'agissait probablement d'une salle servant de promenoir.
Le château actuel, construction très étendue, fut remanié et agrandi à diverses époques depuis le XVe siècle. Les corps de logis, adossés les uns aux autres d'une manière très irrégulière, sont soutenus par des tourelles rondes.
On pénètre dans la cour d'honneur par un pont dormant au-dessus de larges douves, puis par un portail entouré de deux bâtiments identiques édifiés, semble-t'il, à la fin du XVIIe siècle. La cour s'ouvre sur une aile unique, à droite, constituée de trois bâtiments sans alignement. Le corps de logis principal, à l'extrémité de cette aile, pourrait également dater de la seconde moitié du XVIIe siècle, avec une partie du gros œuvre plus ancienne. Les deux tours rondes qui l'encadrent sont vraisemblablement contemporaines de la tour du colombier, sur laquelle est gravée 1530.
De larges fossés bordent une partie des bâtiments faisant face à l'ouest et au nord. Un grand jardin à la française décoré de charmilles, ainsi que plusieurs avenues tracées en ligne droite entourent l'ancienne demeure seigneuriale.
Sources :