Elle tiendrait son nom soit de Anne de Rohan de Soubise, maîtresse de Louis XIV ou de l'abbesse de l'abbaye aux Dames de Saintes qui portait le titre de Madame de Saintes. Elle s'est aussi appelée l'île de la Garenne sans doute à cause de l'abondance des lapins du même nom qui étaient ses seuls habitants. Sous la Révolution, elle est appelée l'île Citoyenne.
Au nord de l'île, se trouvent une redoute qui correspond à une ancienne fortification militaire de forme carrée, édifiée en 1703, ainsi que des casemates. Ces constructions participaient au système de défense de la « rade de Rochefort », à l'entrée de la vaste embouchure de la Charente, pour protéger Rochefort et son arsenal militaire.
Au sud-est de l'île, une grande croix de galets, formée à même le sol, marque l'endroit où furent ensevelis 254 prêtres déportés en 1794. Ce site donne lieu à un pèlerinage annuel, en août, consistant à venir sur l’île, à pied depuis Brouage, en apportant un galet du continent pour le déposer sur la croix.
Ces prêtres moururent de maladie et d'épuisement à bord des pontons de Rochefort : le Washington et les Deux Associés, d'anciens navires négriers. Certains étaient des prêtres réfractaires, ayant refusé de prêter serment à la nouvelle constitution, mais ils comptaient également dans leurs rangs un grand nombre de prêtres assermentés.
Après l'épisode sanglant de la Commune de Paris, des communards y furent envoyés. Pour s'approvisionner en eau douce, ils creusèrent un puits, au nord de l'île, appelé depuis puits des Fédérés ou puits des Insurgés. Ce puits, foré en mer à 25 mètres du rivage, est accessible par une passerelle.
