Le terme d'Archéocètes a été construit à partir des termes de grecs anciens qui se traduisent par « Ancien » et « baleine ». Les synonymes les plus connus sont Zeuglodontia et Hydrothereuta. Ce groupe, lorsqu'il a été créé, incluait à la fois les cétacés et d'autres fossiles d'ongulés, ayant des caractéristiques dentaires particulières. Dans cette hypothèse, tous ces animaux auraient dérivé d'ancêtres Mesonychia. Toutefois, des études en phylogénie moléculaire révèlent que les cétacés, et donc les Archaeoceti ont plus probablement évolué à partir d'un autre type d'artiodactyles, plus proche des hippopotamidés.
Les ancêtres des archéocètes ont probablement divergé des artiodactyles, à l'époque de l'extinction du Crétacé-Tertiaire. Une espèce d'Archéocète particulière des Basilosauridae, allait évoluer vers les cétacés modernes à partir de la fin de l'Éocène. De ce fait, le taxon est paraphylétique, puisque formant un sous-ordre ne comprenant, ni les odontocètes et les mysticètes pourtant issus d'une même lignée.
La plupart des espèces, y compris les espèces terrestres ont disparu à la fin de l'Oligocène.