Selon des légendes celtes irlandaises, le détroit de Calf fut créé au cours d'un combat entre le géant irlandais Finn Mac Cumaill et un buggane, un géant du folklore mannois. Alors que les deux géants combattaient dans les environs de Burroo Ned, le buggane projeta Finn Mac Cumaill en l'air. Ce dernier, en retombant, laissa deux empreintes dans le sol avec ses deux pieds qui formèrent les deux parties du détroit séparées par les rochers de Kitterland, séparant ainsi Calf of Man de l'île de Man.
Une autre légende mentionne l'existence d'une île, maintenant engloutie, située au sud-ouest de Calf of Man et étant lieu de résidence de Manannan MacLir. Ce dernier ainsi que d'autres géants feraient des incursions sur Calf of Man et se replieraient sur cette île cachée dans le brouillard.
Kitterland tirerai son nom du chef viking Kitter : alors que ce dernier chassait sur Calf of Man, son cuisiner, Eaoch, qui signifie en français « celui qui peut pleurer très fort », l'avertit que les celtes brûlaient sa maison. Kitter, reprenant son bateau pour franchir le détroit de Calf, se fracassa contre les rochers de Kitterland et se noya.
À partir de 1962, Calf of Man émet ses propres timbres poste, légendés Calf of Man Isle of Man, jusqu'à ce que l'île de Man acquière son indépendance postale vis-à-vis du Royaume-Uni en 1973. Ces émissions, considérées comme privées et non reconnues par l'Union postale universelle, totalisent 376 timbres qui servirent à payer le transport du courrier à partir de Calf of Man jusqu'à Port Saint Mary. Ces timbres, grâce à leur caractère insolite, sont également recherchés par les philatélistes.