Bernard Johanini, bourgeois d'Aurillac, acquiert en 1351 des droits sur le fief de Tournemire. Il est anobli en 1360. Il est marié en 1368 avec Marguerite de Tournemire.
Ayant combattu au côté de Jeanne d'Arc, le roi Charles VII l'autorise à construire le donjon médiéval pour défendre le pays environnant vers 1439 malgré le refus du seigneur de Tournemire. De cette construction doit dater le conflit entre les deux familles. Les Tournemire avaient combattu du côté des Plantagenêts.
La décoration de la chapelle privée représentant des scènes de la Passion a dû être entreprise après le meurtre par Jean de Tournemire du fils du seigneur du château d'Anjony, curé de Marmanhac, en 1523. Celui-ci a choisi d'éviter d'aller à l'église. En effet le seigneur de Tournemire avait fait déterrer le corps du curé de l'église paroissiale et jeter devant la porte du château. Cette décoration a probablement été etreprise par Louis III d'Anjony, seigneur du lieu depuis 1526, et frère du curé assassiné par les Tournemire. Il est lui-même décédé peu avant 1557.
Les murs de la grande salle du premier étage représentant les Neuf Preux ont été peints à la demande de Michel d'Anjony, fils de Louis III d'Anjony, et époux de Germaine de Foix. Ces fresques, réalisées vers 1575, ont été redécouvertes au début du XX siècle.
En 1623, un duel entre les représentants des deux familles sur la place devant l'église a entraîné la mort de trois membres de chaque famille.
Le conflit entre les deux familles s'est éteint quand Michel II d'Anjony s'est marié avec Gabrielle de Pesteils, héritière de Tournemire, en 1643.
En 1739, Claude d'Anjony fit bâtir un corps de logis et des communs plus accueillants.
Le château est toujours habité. Il est la propriété du marquis de Léotoing d'Anjony.
