Le château communique avec le donjon du XII siècle. Le donjon comporte au rez-de-chaussée: la salle de garde, une salle voutée à berceau brisé, une cheminée monumentale, des fresques templiéres d'inspiration mauresque, ainsi que deux étages reliés par un escalier à vis.
En 1187, la construction du donjon est achevé et formant une forteresse médiévale. La tour était couronnée de quatre tourelles en encorbellement, détruites à la révolution. Elle est carrée, en pierre taillées dans un calcaire dur. les murailles sont hautes d'une vingtaine de mètres, avec quatre contre-forts extérieurs.
Le rez de chaussée est occupé par la salle des gardes, magnifique salle vouté dont le berceau brisé s'épanouit à plus de 7 métres du sol et décoré de fresques aux motifs géométriques d'inspiration mauresque. Ce décor est simple avec des teintes d'ocre, de blancs et de bruns, qu'affectionnaient particulièrement les templiers.
Les deux étages supérieurs sont reliés par un petit escalier à vis. Un petit passage de guetteur surplombe le salle de gardes.
Grande demeure d'inspiration toscane, sa rotonde d'entrée ovale, aux quatre statues monumentales réalisées par Jean-Marie-Joseph Ingres, distribue sur de grandes pièces en enfilade le long de la façade avec des boiseries XVIII, et un escalier en pierre équipé d'une très belle rambarde dans l'esprit « Retour d'Égypte ».
