Le château de Faverges actuel remplace un château mentionné dès 1112, appartenant aux seigneurs de Faverges. Situé à la frontière du comté de Savoie, commandant l'ancienne voie romaine secondaire reliant Moûtiers à Genève, mais aussi avec la baronnie du Faucigny, le comte Amédée V de Savoie rachète la seigneurie en 1316 à Rodolphe de Faverges et fait relever le château. Il a un rôle stratégique dans les conflits opposant la maison de Savoie et la maison de Genève, de même que pour la prise de contrôle du Faucigny suite au traité de Paris, en 1355.
À partir du XV siècle, la seigneurie est donnée en apanage aux princes de la Maison de Savoie qui sont comtes de Genève.
En 1501, le duc Philibert II de Savoie vend la seigneurie à François de Luxembourg, qui venait d'épouser Louise de Savoie en 1497.
En 1569, Louis Milliet achète pour 8 000 écus d'or la seigneurie, permettant l'érection par la suite de la branche cadette des Milliet de Faverges (cf. Maison de Milliet) qui le possédera jusqu'à la Révolution.
Le château est racheté, en 1810, par Jean-Pierre Duport qui vient d'investir en Savoie, et notamment à Faverges dans une usine de mousseline. Le château accueille donc des ateliers de soierie jusqu'en 1914. Durant le conflit, ce dernier accueille un hôpital militaire avant de redevenir un atelier jusqu'en 1976.
En 1980, la commune de Faverges le rachète pour le transformer en maison familiale de vacances. Il sera géré pendant un temps par le groupe de centres de vacances Relais Soleil.