Une tradition, reprise par les historiens locaux, avance la date de 1339 pour la construction du Château fort, attribuée à Jean Paviot, chevalier banneret de l'armée royale de Philippe VI de Valois. Ce roi à la veille de la guerre de cent ans, avait sans doute éprouvé le besoin de compléter les défenses avancées de Paris entre ses châteaux d'Etampes et Dourdan alors que l'on pouvait craindre des attaques anglaises en provenance d'Aquitaine. Toutefois Jean Paviot n'est attesté, comme seigneur de Boissy-le-Sec qu'en 1349 par un acte de foi et d'hommage rendu à la Duchesse d'Alençon, comme tutrice de son fils mineur, comte apanagiste d'Etampes. Ce château fort fut pris par les Anglais probablement en 1358. Le châreau de Boissy-le-Sec est mentionné en 1360 dans le traité de Brétigny parmi les forteresses conservées par le Roi d'Angleterre comme gage du paiement de la rançon de Jean II, roi de France fait prisonnier à la bataille de Poitiers.
Dans la seconde moitié du XV siècle, les descendants de Jean Paviot transformèrent leur château en demeure de Plaisance construisant entre les seux tours un corps de logis principal ou fut intégré, dans son rez-de-Chaussée, le second niveau de la tour de la salle basse. Cette nouvelle construction comportait de larges fenêtres à meneaux encadrées de pierre de taille sculptées. Des demi -fenêtres à traverses furent percées dans les deux tours, avec un encadrement de pierre de taille, sculptées dans le même style gothique flamboyant. A cette même époque, ou plus tard au XVI siècle, l'ancien logis seigneurial fut élargi et surélevé, formant une aile sud, en retour du nouveau corps de logis principal. Au rez-de-Chaussé l'élargissement comportait une galerie, dotée de trois arceaux ouvertes sur l'extérieur. Au début du XVIII siècle de nouvelles transformation mirent le "vieux château" au gout du jour ce qui impliqua le bouchage des arceaux et surtout la recouvrement des encadrements de fenêtres gothique par des aplats de plâtre, conférant à ces ouvertures un style baroque. Ces encadrements gothiques réapparurent sur la façade nord du corps de logis principal et sur les tours qui l'encadrent en 2006, à l'occasion d'un ravalement. cette découverte entraina l'Inscription en 1968 comme monument historique des façades et des toitures du Château alors qu'antérieurement seules la salle basse voûtée et la cave alvéolée étaient inscrits à l'Inventaire supplémentaire.
Le château fut partiellement inscrit aux monuments historiques le 21 décembre 1984 et le 5 décembre 2007.
