Sa construction s’est déroulée sur plusieurs siècles, du XIIe siècle au XVIIe siècle. Son origine remonte à Hugues de Castelnau, qui fait édifier une enceinte autour de son domaine. Il est l’ancêtre d’une lignée familiale très puissante, baronnie inféodée aux comtes de Toulouse et qui prospère dans une région riche en ressources agricoles.
De sa période médiévale, on retrouve le donjon carré et un logis seigneurial. Il fut ensuite réaménagé au XVe siècle pour s’adapter à l’artillerie naissante. Il sera pris par Henri II Plantagenêt mais redeviendra propriété des barons de Castelnau à l’issue de la guerre de Cent Ans.
Quand le dernier Castelnau meurt en 1715, le château n’est plus entretenu et se dégrade pendant presque deux siècles. En 1860, le château appartient à un M. Dubousquet qui a, un moment, l'idée d'y installer un monastère. Il est classé monument historique en 1862 ( et plus tard l'ensemble du site sera inscrit). Le curé de Castelnau, l'abbé Selves, l'acquiert en 1873. ( Source Gilbert Foucaud, Bulletin de la Société des études du Lot, 2002, 3ème fascicule )En 1895, il est racheté par Jean Mouliérat, chanteur d’opéra comique parisien, qui entreprend sa restauration. De plus, Mouliérat est un collectionneur qui rassemble nombre de meubles et d’objets d’art religieux (peintures et sculptures). À sa mort en 1932, le dernier propriétaire de Castelnau-Bretenoux lègue son bien à l’État. Grâce à lui, on peut maintenant visiter sept pièces de cette forteresse, restaurées et meublées dans le style médiéval.