Le prang central est le principal sanctuaire de Prasat Hin Phimai et le plus grand de son genre en Thaïlande. L'élément le plus remarquable est le mandapa ou antichambre, situé au sud, alors que typiquement ce type de structure est situé à l'est. Le sanctuaire est construit au niveau du sol, la tour principale se trouvant surélevée sur une double plateforme pour suggérer la montagne où résident les dieux. La base de la tour est décorée de motifs en stuc représentant des feuillages en losanges et des motifs floraux (pétales de lotus).
Le temple est situé sur un site naturellement protégé, presque une ile naturelle formée par un méandre de la rivière Mun et son affluent, le Klong Chakrai. La ville ancienne est entourée d'un mur de latérite formant un rectangle de 1km par 500 m, lui-même protégé par des douves alimentées par la rivière. Ce mur constitue le premier enclos du temple.
Le sanctuaire est en forme de croix avec des porches ou gopuras inter-connectés par des galeries sur chacun des quatre côtés. Situé au milieu de la ville de Phimai, Prasat Hin Phimai est entouré de murs de grès rouge avec des portes aux quatre point cardinaux ; ces murs datent de l'époque de Jayavarman VII. L'entrée principale, appelée pratu chai (porte de la victoire) est située au sud, vers l'ancienne route menant à Angkor. Les archéologues ont fait plus de découvertes auprès de cette porte qu'auprès des trois autres. Le visiteur passe donc cette porte de la victoire avant de pénétrer dans le sanctuaire. A l'ouest, on trouve une structure dont la fonction est à ce jour inconnue. Elle est appelée dharmasala ou trésor (Khlang Ngoen). On a trouvé à proximité des monnaies de bronze, représentant garuda ou hamsa sur une face et des caractères sur l'autre.
A partir du dharmasala, un pont de nâgas mène le visiteur vers le sanctuaire. Deux lions imposants gardent les marches. Le pont de nagas est en forme de croix ; sa balustrade est faite de nagas, ce pont symbolisant la voie vers le mont Méru, demeure des dieux. En franchissant le gopura, on arrive à un pavillon, dans la cour duquel se trouvent les ruines d'un bâtiment rectangulaire en pierre sur un plancher surélevé appelé le bannalai, ou archives, ou bibliothèque. Les archéologues supposent que c'était un endroit où étaient stockés des manuscrits. Ce pourrait également être une pièce pour des cérémonies royales.
La structure suivante à l'intérieur de la cour externe est un cloitre ou galerie couverte à sol surélevé et entourant chacune des trois tours. Un porche marque chacun des points cardinaux ; le porche principal côté sud est aligné avec le gopura du mur d'enceinte et la porte de la cité. Vient ensuite la cour intérieure, avec ses trois tours imposantes.