Il existait aussi à Chaumot un château voisin (manoir) et ses forges au hameau des Préaux(lt) qui faisait partie du fief du Château de Chaumont, il s'est écroulé à la fin du XIII siècle, dont on en voyait encore les fondements au XVIIIème siècle. Il n'en reste que les bois du Marteau et le château de Mardelin, reconverti en ferme. Le Moulin Neuf et le Moulin Vieux, toujours existants, faisait aussi partit de ce fief des Préaux.
Le château principal de Chaumot a été édifié au X siècle dans le creux du vallon entre le récent hameau Les Vinées et les bois du Parc. reconstruit par André de l'Abbaye, il est racheté des Le Boultz par Paul Delpech, receveur général des finances d'Auvergne, à Riom, fils de Pierre Delpech (1642-1712), marquis de Méréville, régisseur de la Maison royale Saint-Louis de Saint-Cyr. Paul Delpech se maria en 1713 avec Madeleine de Montchy, qui lui donna trois filles : Angélique, Marie-Jeanne et Madeleine. Ce dernier seigneur, dans la première décennie du XVIII siècle jusqu'en 1714, le rénove en un château à la moderne, agrémenté de nombreux bassins grace à une machine hydraulique, de jardins, de communs, etc.
En 1714, Paul Delpech fit édifier l'hôtel Delpech de Chaumot, au 8 de la place Vendôme, à Paris, par l'architecte Pierre Le Maître. En 1736 le moulin du château est détruit est remplacé par un lavoir, mais l'actuel lavoir ne date que du 19ème siècle. À son décès en décembre 1751, la situation financière de sa succession est si mauvaise que ses trois filles sont obligées de vendre une partie de leurs biens dont le château. Il sera inhumé dans l'église Saint-Louis de Chaumot.
Le château est ensuite acquis, ainsi que plusieurs maisons, bois friches, étangs,auberge, fermes et moulins, en 1771 par le prince François-Xavier de Saxe, oncle de Louis XVI, d'où naitra de Claire Spinucci, deux princesses. Augustin Barruel y sera precepteur des enfants du prince qui y sont alors cinq.
Le château "retiré" des mains du prince en 1792, et décrété bien national, sera incendié par les habitants, les vases d'ornements, portes, soupapes des bassins et barrières détruites, victime de plusieurs vols dont plusieurs milliers de livres de plombs, ferrailles; le colombier et la machine hydraulique sont détruits. Il sera question de le rénové en manufacture, fabrique, ou lieu d'instruction publique, mais le château ne résiste pas aux intempéries, et se dégrade de jour en jour.
À la fin de la Terreur, la demeure est pillée, puis mise en vente par les filles du prince de Saxe en 1809. Le château sera démoli la même année et vendu en "pièces détachées" par la suite.
Casimir Perier achète le domaine en 1818, puis Louis Jacques Thénard en 1830 qui en déplace les deux tourelles toujours intactes parmi les ruines et les rattache à sa ferme à Chaumot, il n'en reste actuellemet plus qu'une seule. Selon l'historien Victor Petit : « On vendit à vil prix, et avec des assignats seulement des terrains d'une étendue immense, qui divisés depuis à l'infini font la fortune d'un grand nombre de familles ».
Au 19ème siècle l'on disait encore au enfants, si tu n'est pas sage je t'en vais voir le prince de Saxe, et il te tirera dessus du haut de son château!