Son ancêtre était Elephas antiquus, un éléphant de forêt pouvant atteindre 3 mètres au garrot. Il vivait en milieu boisé dans toute l'Europe et une partie de l'Asie.
Durant les périodes glaciaires, le niveau des mers était plus bas qu'aujourd'hui et les îles étaient séparées par des distances plus réduites, voire réunies par des isthmes. Les éléphants ont donc pu cheminer jusqu'aux futures îles ; ils sont aussi de bons nageurs et ont pu nager d'île en l'île sur de petites distances. La fin de l'ère glaciaire et la fonte des glaces firent remonter le niveau de la mer, empêchant les animaux de continuer à circuler. Chez les espèces de grande taille à l'origine, l'isolement géographique en l'absence de prédateur induit une phénomène évolutif appelé « nanisme insulaire ». Les éléphants des îles méditerranéennes ont donc évolué vers une espèce de taille plus petite.