Le château est construit avec une enceinte de forme hexagonale flanquée de tours rondes où le puissant donjon dresse ses 35 mètres de hauteur, (XIVe siècle). Le château de Blandy est l'exemple type d'une forteresse du XIIIe siècle transformée en résidence seigneuriale comme d'autres de la fin du XIVe siècle. Ce mouvement de transformation impulsé par Charles V au Louvre, se retrouve notamment au château de Saumur, de Mehun-sur-Yèvre, de Coucy ou de Largoët-en-Elven.
enceinte se compose de 6 tours :
Les bases des 3 dernières tours furent élevées après 1370 en grès de Fontainebleau, alors que les étages supérieurs sont le fruit des travaux réalisés vers 1390 par Guillaume IV en moellons de pierre meulière, plus économique. Enfin, le donjon possédait trois issues, ce qui est rare dans l'art médiéval. La herse du donjon, toujours en place, a été datée de 1381.