L'histoire de l'île est étroitement liée à celle de l'île de Crooked Island. L'île fut peuplée par des colons américains loyalistes qui furent chassés des États-Unis dans les années 1780 et qui s'installèrent dans cette île pour pratiquer la culture du coton à l'aide d'esclaves. Après l'abolition de l'esclavage, les habitants développèrent une activité de pêche et d'agriculture vivrière et firent commerce des éponges.
Sur l'île de Castle Island subsiste un phare construit en 1867 et entièrement rénové.
