Rodolphe III de Bourgogne fonde en 1018 le prieuré de Talloires, au bord du lac d'Annecy (face au prieuré de Saint-Jorioz, fondé lui vers le IX siècle), dans le pagus de l'Albanais, pour ensuite le donner à sa femme Ermengardeen en 1030. Celle-ci l'offre à l'abbé bénédictin Itier ou Itier (1018-1044) de Savigny (attestée en 817), et l'abbaye est investit par des moines de Cluny. Les papes Pascal II en 1107, Calixte II en 1123 et Eugène III en 1145 confirment sa création.
Au XVII siècle, l'abbaye est soumise à la réforme salésienne. Malgré un passé glorieux, elle ne compte plus qu'un petit nombre de moines qui n'appliquent plus que partiellement les règles bénédictines. Ayant reçu l'aval de Savigny, François de Sales entreprend de réformer le prieuré, mais fait face à des résistances. Il trouva le soutien auprès du Sénat de Savoie dans son action. Il fait ensuite déplacer les ossements (translation) de l'ermite Germain de Montfort, premier prieur, de son lieu d'ermitage à Talloires.
En 1674, le pape Clément X érige le prieuré en abbaye royale. L'ensemble est agrandit en 1681, notamment d'un hôpital et d'une maladrerie sur le site d'Angon.
En 1792, lors de l'entrée des révolutionnaires français dans le duché de Savoie, l'abbaye subit la violence de ceux-ci et fut détruite. Elle fut brûlée avec ces archives. Elle ne se relève pas de cet épisode et sera rasée en 1833.