Claude-François-Charles de Truchis, né à Dôle en 1765 hérita de la terre de Varennes. Il y trouva les traces caractéristiques d'une motte féodale disparue et de sa basse-cour. S'y trouvait également un premier château datant de 1730 mais dont malheureusement aucune représentation n'a été retrouvée même si les principaux éléments des bâtisses sont bien lisibles sur le plan du domaine de 1790, lequel plan est encore conservé dans les archives du château. De retour d'immigration quand il quitta l'armée de Condé, il restaura le château et l'agrandit puis y ajouta la ferme et les écuries. Les travaux d'agrandissement commencèrent donc en 1809 et se poursuivirent jusqu'en 1829.
Son fils, William, après avoir servi aux mousquetaires noirs de la garde du roi se fixa à Varennes lors de son mariage et fit retracer un vaste parc qui entoure le château. Il en termina la construction par le côté Nord, toute la façade Ouest, le grand escalier, le billard et le salon. C'est un architecte local, originaire du bourg de Charette, Fondet, qui donna les plans.
William eut un fils, Stanislas né en 1857 qui héritera du château. Il y fit des réparations importantes et réaménagera complètement l'intérieur ; en outre, il reconstitua tout le domaine foncier de Varennes. Stanislas de Truchis terminera le programme d'architecture par la construction d'une chapelle, très proche de la la façade Est du château. Les fondations de cette chapelle dédiée au Saint Sacrement et à saint Maurice, commencèrent en 1913 et l'inauguration intervient le 24 novembre 1923. L'architecte était Adolphe Prost, de Dijon, élève de Suisse. L'architecte imposa dans ce projet le souhait de reproduire et d'intégrer l'art roman bourguignon (en particulier clunisien) ainsi que l'architecture et l'art décoratif des premiers temps du christianisme.
La famille de Truchis possède également les châteaux de Terrans et de Lays-sur-le-Doubs, à proximité immédiate de celui de Varennes. Le château de Varennes est au XXI siècle la propriété du vicomte de Truchis. La chanteuse Zazie est issue de la famille Truchis de Varennes (de son vrai nom Isabelle de Truchis de Varennes).