L'origine du château est fort ancienne, de même que la famille de Beaufort. En ces lieux, il y aurait eu, à l'époque gallo-romaine une villa. Le premier représentant connu de cette famille est attesté vers 923, avec Bernard de Beaufort.
À la mort de Guillaume de Beaufort, survenu vers 1246, ses biens sont partagés entre ses fils. L'aîné, Guillaume, reçoit le château et ses dépendances, Pierre se fait construire une nouvelle maison forte aux Outards. En 1271, ne pouvant honorer une dette contracté auprès de Pierre de Savoie , Guillaume, cède le château à Béatrice de Faucigny, pour la somme de 1525 livres.
Il est cédé, avec les États du Faucigny, en 1349 au roi de France Philippe VI. En 1355, suite au traité de Paris, le château passe à la Maison de Savoie. Jacques d'Achaïe, en est apanaché, par son cousin Amédée VI de 1360 à 1363. Il est de nouveau apanaché, avec le Faucigny et le Genevois, par le duc Louis à son fils Janus de 1460 à 1491. En 1514, il est donné toujours avec le Faucigny et le Genevois, par le duc Charles III, à son frère Philippe, qui donne naissance à la branche des Genevois-Nemours. Cette branche éteinte, l'apanage fait retour en 1659 au duc Charles-Emmanuel II. Il l'inféode en 1662 à François-Joseph Vicardel, famille, qui garda ces terres jusqu'en 1771.
Le château à cette époque n'appartenait plus aux seigneurs du lieu, car il avait été donné en 1536, par le duc Jacques de Savoie-Nemours, à des religieuses dominicaines, chassé de Genève par la Réforme. Elles y restèrent deux ans, desservant, la chapelle du château, aujourd'hui sous le vocable de Notre-Dame des Châteaux Celle-ci aurait été érigé par Bernard de Beaufort, suite à un vœu, au nord-est du château, sur un plateau inférieur. Elle renfermait une vieille statue en bois de la Vierge, et fut un lieu de pèlerinage pour les habitants de la vallée. Les religieuses, furent remplacées par les Dominicains d'Annecy, qui l'achetèrent en 1580 au duc de Savoie-Nemours, en échange d'un bien situé à Annecy. Ces derniers restèrent à Beaufort plus de deux siècles, érigèrent une nouvelle chapelle accolée à l'ancien corps de logis du château, et y transférèrent la vénérable statue. À la Révolution, après avoir subi de graves dégâts, le château est vendu en 1793, à un fermier du pays, qui le transforme en exploitation agricole. Il est acheté en 1837 par le révérend Antoine Martinet, qui restaure la chapelle en 1845. En 1870, le site est acquis par la Congrégation des Augustins de l'Assomption, qui y fait édifier un nouveau bâtiment à usage d'alummat. Il fonctionna jusqu'à la séparation de l'Église et de l'État. Racheté en 1937, par une autre communauté, il sert alors de maison de repos pour les Pères et de colonie de vacances.
