L'Isle Madame a d'abord été visitée par les Français, les Basques et les Anglais, attirés par la chasse et la pêche, le poisson et le gibier étant très prolifiques dans la région. On y trouvait des centaines de milliers de morses, aujourd'hui exterminés, et très prisés à l'époque pour leur huile. Les environs regorgeaient de denrées alimentaires, ce qui justifiait la présence européenne. Pendant quelques générations, les Basques ont exploité des usines de poissons sur l'île et ont assimilé des familles acadiennes.
Les premières colonies
L'Isle a été colonisée par la France dans le cadre de sa colonie de l'Île Royale (aujourd'hui l'île du Cap-Breton) lors du règne de Louisbourg. Elle a été nommée en l'honneur de Françoise d'Aubigné, Marquise de Maintenon (connue sous Madame de Maintenon), la seconde épouse du Roi de France Louis XIV. Suite à la guerre de Sept Ans, l'Île Royale et ses territoires tels que l'île Madame, est revenue sous le contrôle britannique.
Lors du Grand Dérangement des Acadiens en 1755 et la prise de Louisbourg en 1758, la plupart des résidents ont dû quitter l’île. Un grand nombre d'Acadiens sont arrivés dans les années suivantes et furent défendus d’assumer les fonctions officielles, de voter, d’enseigner, de fréquenter les écoles et même d’être propriétaires d'une terre. À la tête de cette oppression se trouvait Charles Robin, un anglican français des Îles Anglo-Normandes dont les activités de pêche et de commerce s’étendaient aux ports du Golfe Saint-Laurent. Avec d'autres marchands, ils ont pu monopoliser la pêche de la région et ont exploité les pêcheurs de l’Île Madame jusqu’au début du vingtième siècle.