« Fleuron de la Renaissance», le château du Pailly a été édifié au entre 1563 et 1573, à l'emplacement d'un ancien château, pour le « très noble et très illustre » Gaspard de Saulx-Tavannes, maréchal de France, compagnon d'arme du roi François Ier par l’architecte langrois Nicolas Ribonnier.
Les archives mentionnent en effet l'existence d'un ancien château de plaine au XIII siècle. Ce dernier aurait été détruit entièrement en représailles à l'oppression du seigneur local. A la fin du XVe siècle, Jean de Dommarien, seigneur du Pailly, entreprend d'en faire une place forte. De cette époque ne subsiste que le donjon. À la mort de Jean de Dommarien, lequel ne laisse aucun héritier, le château revient à l'évêque de Langres. Puis la famille Saulx-Tavannes rachète les droits de seigneurie et Gaspard de Saulx-Tavannes décide la reconstruction du châteaux et y établi sa résidence.
Progressivement abandonné ensuite par la famille de Saulx-Tavannes, il fut acheté par une famille franc-comtoise en 1764, il fut « envahi et pillé par les gens d'Heuilley Cotton en 1793 », en pleine Révolution. Il est ensuite confisqué et vendu par l'administration centrale de la Haute-Marne en 1799. Le château reprend vie à la fin de la période napoléonienne grâce à la famille du Breuil de Saint-Germain qui l'acquiert en 1821. Les du Breuil de Saint-Germain restaurent la tourelle à jour, la chapelle, les cheminées, le bas-relief, la lucarne du pavillon de l’escalier sur cour et le jardin à la française très probablement réaménagé à la fin du XIXe siècle ou au début du XXe. La famille le cèdera en 1936 aux Mutuelles agricoles de l'Est.
Durant la Seconde Guerre mondiale, les Allemands y installeront la Kommandantur.
Il est propriété de l'État depuis1963.
