XVI au XVIII siècles
Le Château Lagrézette a été bâti au XVI siècle par Pierre de Massault dont le frère, Gilibert, était archidiacre de Cahors.
C'est leur père, Adhémar, qui donna son nom au château. Il avait souhaité voir construire le bâtiment sur « la petite grèze » ( un éboulis de pierres consolidé ) qui domine le Lot dans leur propriété. À la mort de son père Pierre, c'est Margueritte de Massault qui hérita du château. Elle épousa Pierre de Maffre en 1503. Le château a été ensuite la propriété des familles de Malegat, Lebrun, de Belcastel, de Malartic, d'Ambert...
XIX et XX siècles
Ainsi, Joachim Marie Jean-Jacques Alexandre Jules Ambert dit, le Général baron d'Ambert, né le 8 février 1804 y meurt le 31 mars 1890.
Le château appartient ensuite à Jules Duverger, un négociant en gros de Cahors, organisateur d'un important commerce avec l'Asie. Le château reste dans ses mains jusqu'aux années de la guerre de 1914-1918.
Le comte Jean-Roger, Alexandre - dit Axel de Barde (descendant de la Famille Leroy de Barde) - est ensuite, jusqu'en 1934, le propriétaire du château. Celui-ci est alors revendu à Madame Roux-Marcé, puis à la famille Chevalier dans les années 39-40. En 1980, il est racheté par Alain-Dominique Perrin, PDG de Cartier à l'époque, puis classé monument historique en 1982.