Ce mammifère est trapu. La taille d'un adulte, mâle ou femelle peut atteindre jusqu'à 3,40 m pour un poids maximum de 400 kg. Il possède de fausses ouïes en retrait des yeux, une petite nageoire et une mâchoire caractéristique, qui peuvent le faire confondre avec le requin. Les fausses ouïes sont dues à une pigmentation plus foncée de la peau à cet endroit. Sa nageoire caudale ne sort jamais de l'eau. Il semble se laisser couler et disparaît. Très discret, il est difficile à approcher, on l'observe cependant à la surface, voire sautant hors de l'eau. Surpris ou effrayé, l’animal défèque et laisse en surface une tache brune bien visible. Son observation est très difficile il est donc impossible de quantifier exactement les populations.
En vieillissant le corps devient plus massif. Son melon contient aussi du spermaceti, une huile très fine recherchée pour ses propriétés lubrifiantes. Seule la mâchoire inférieure comporte des dents : 20 à 32, très pointues et dirigées vers l'arrière. Le cachalot pygmée comme le grand cachalot possède une peau plissée qui est généralement bleu-gris sur le dessus et s'atténuant au blanc sur le flanc. La forme des nageoires pectorales nous rappelle une feuille de laurier tandis que la nageoire dorsale, plus petite est filiforme. La nageoire caudale en forme d'accolade est plus souple que celle des dauphins océaniques.