Le château de Chavaniac dont la construction remonte au XIV siècle a été en partie détruit par un incendie en 1701. Le marquis de La Fayette y est né en 1757. Il s'est marié en 1774 avec Adrienne de Noailles, avec laquelle il a eu quatre enfants, Henriette, morte en bas âge, puis Anastasie, Georges et Virginie qui ont séjourné au château. Héros de la guerre d'indépendance américaine et de la Révolution, Lafayette est honoré puis rejeté par les révolutionnaires français, car il vote contre la mort du roi. La chute de la monarchie en 1792, le force donc à émigrer. Lafayette est alors fait prisonnier par l'Autriche et emprisonné à la forteresse d'Olmütz.Il est alors considéré comme un traître n'ayant pu sauver Marie-Antoinette qui est d'origine Autrichienne et le roi de France. Lafayette ne reviendra en France qu'en 1797 puis 1799. Le château sera restauré par Lafayette en 1791 puis vendu comme bien d'émigré en 1793,suite à son départ, mais c'est la tante de La Fayette qui rachète le château.
En 1917, un industriel américain d'origine française, John Moffat, l’achète au nom de l'association des 'Amis de Lafayette' et le fait rénover de fond en comble afin d’abriter les collections historiques de LAFAYETTE, glanées des deux côtés de l'Atlantique. Il est meublé en style Louis XIII.
Suite à la mort de John MOFFAT en 1966, l'association franco-américaine des Amis de Lafayette reprend la gestion du château puis le cède en 2009 au Conseil général de la Haute-Loire, qui à son tour reprend l'administration du château et fait refaire la toiture.
Les drapeaux américain et français flottent en permanence sur le château, pour honorer le rôle clé joué par Lafayette dans l'aide militaire apportée à la France aux jeunes Etats-Unis d'Amérique, à travers un corps expéditionnaire de 40 000 soldats commandés par le général Rochambeau et l'amiral de Grasse.
L'immense flotte française rassemblée à Yorktown pour empêcher toute fuite anglaise par la mer conduira à la capitulation anglaise du général Cornwallis à Yorktown en 1781. L'indépendance américaine ne sera donc effective que 5 années après la déclaration officielle de 1776, après l'aide décisive de 'La Victoire' (1er bateau payé et affrété par Lafayette) et de la flotte de 200 navires qui coûtera son trésor puis sa couronne et sa vie au roi Louis XVI, suite à la convocation des Etats-Généraux à Versailles en 1789...
Lafayette, citoyen d'honneur américain, a vu son nom donné à 42 villes américaines et au square faisant face à la maison blanche à Washington.
Lafayette refusera 2 fois la magistrature suprême en France, en 1790 lorsqu'il est élu Président de la fête de la Fédération, puis en 1830, où après la Révolution on lui offre la Présidence de la République, à laquelle il renoncera pour une nouvelle restauration.
Le château, devenu château CHAVANIAC-LAFAYETTE, abrite le château-musée du général, homme d'état et humaniste LAFAYETTE.
