Point très important pour la défense du pays, au Moyen Âge, le château appartint d'abord à la famille de La Salle, puis au XV siècle, à Janus de Duyn, baron de la Val d'Isère, vicomte de Tarentaise, grand écuyer de Savoie.
Sa fille, Louise de Duyn, mariée à un piémontais, le comte Valperga, dont elle n'eut pas d'enfants, testa, en 1525, pour un cousin germain, Pierre de La Forest (1490-1536), seigneur de La Barre qui fut ambassadeur de Savoie en France, et l'un des quatre barons qui portèrent le poêle aux funérailles de Philippe de Savoie, duc de Nemours. Sa veuve, Huguette de Somont, habitait lorsqu'elle testa, le 10 mars 1556.
Jean de La Forest, leur petit-fils, grand capitaine et lui aussi ambassadeur en France, obtint en 1592 des lettres lui permettant d'obliger ses hommes taillables, dépendant de la seigneurie de Montcharvin, à s'affranchir « tant de corps que de biens ». Après lui, les La Forest gardèrent le château jusqu'au XVIII siècle.