L’aspect actuel date en majeure partie du XV siècle. Le château est bâti sur une ancienne maison-forte portant la date de 1056. Au-dessus d’un robuste corps de logis pointent deux tours rondes, une tour carrée et une tour hexagonale. À proximité se trouvent une ancienne dépendance et un colombier circulaire massif.
Le château est une propriété privée et ne se visite pas. Il est inscrit à l’Inventaire supplémentaire des monuments historiques depuis mars 1927.
Le peintre Balthus (1908-2001) est resté près de huit ans au château de Chassy. Il y achève La Chambre et Le passage du Commerce-Saint-André (1952-1954, collection particulière). Il y fait plusieurs paysages, vus de ses fenêtres. Il se crée un personnage de dandy et d’aristocrate « féodal », ainsi qu’il se décrivait, son appartenance à la noblesse restant non établie.