L'église Sainte-Radegonde est édifiée à partir du XI siècle à l'initiative des bénédictins de l'abbaye de Saint-Jean-d'Angély, lesquels auraient fait du sanctuaire une étape sur l'un des chemins de Saint-Jacques-de-Compostelle. Ainsi, après avoir suivi la Via Turonensis jusqu'à Saintes, certains jacquets auraient-ils choisis de se rendre à Talmont d'où ils auraient embarqué pour la basilique de Soulac, sur l'autre rive de l'estuaire de la Gironde, poursuivant leur périple par la voie de Soulac.
Bien qu'une plaque commémorant le pèlerinage ait été apposée à proximité de l'église par la « Société des amis de Saint-Jacques », l'importance - sinon la réalité - de celui-ci se heurte à l'absence de preuves tangibles antérieures au milieu du XX siècle.
La transformation du village en bastide par le roi d'Angleterre Édouard Ier, duc d'Aquitaine, implique la fortification d'une partie de l'église. Un chemin de ronde est édifié au-dessus de l'abside. Cependant, ce ne sont pas les guerres qui provoquent la destruction d'une partie de l'église, mais une violente tempête qui cause l'effondrement d'une partie de la falaise servant d'assise à l'édifice. Les deux premières travées de la nef et une partie de la crypte sont emportés par les flots. Des travaux de consolidation sont effectués par la suite, tandis qu'une nouvelle façade gothique est édifiée.
L'église est classée monument historique le 30 août 1890.
Les premiers travaux de restauration importants interviennent dès 1929, année qui voit le dégagement d'une partie de la crypte-ossuaire. En 1935, la coupole et la base du clocher sont remis en état à leur tour. Cependant, dans les années de l'immédiat après-guerre, l'érosion de la falaise semble condamner l'église à un effondrement inéluctable.
En 1946, l'écrivain Pierre-Henri Simon, futur membre de l'académie française, originaire de la localité voisine de Saint-Fort-sur-Gironde, écrit à propos de l'église :
« À la pointe du rocher, blessée mais immuable, les vents ne cessent de la frapper ; les jours de tempête, elle est enveloppée d'écume. Elle est vraiment la nef ancrée sur les flots. Je ne connais pas de plus belle image (...) de l'éternel au cœur de l'histoire »
L'église doit son sauvetage à André Malraux, alors ministre des affaires culturelles. Ce dernier, devant une affiche représentant l'église fragilisée, déclara un jour à des visiteurs :
« Voyez ces pierres sublimes, indifférentes aux rumeurs des âges... »
La deuxième loi de programme portant remise en valeur du patrimoine monumental, dite loi Malraux permet des travaux de consolidation de la falaise, préalable à une campagne de restauration en profondeur menée par l'architecte des monuments historiques Michel Mastorakis.
Les travaux ne sont pas sans soulever de polémiques : de fait, l'édifice se trouve « expurgé » de ses éléments postérieurs au XII siècle. Le chemin de ronde est démoli, la base du clocher dégagée. Enfin, certaines sculptures sont refaites dans le goût du XII siècle, dans un souci d'harmonisation de l'édifice.
