L'abbaye bénédictine fortifiée de Saint Hilaire est constituée d'une église abbatiale, d'un cloître, de deux réfectoires, d'un logis abbatial, d'une salle capitulaire et de ses celliers. Aujourd'hui, les habitations du village occupe l'intérieur des fortifications de l'abbaye et le cloître est devenue une place publique.
Il a été édifié au XIVe siècle en forme de trapèze irrégulier avec quatre galeries. Elles sont composées d'arcades ogivales et moulurées à colonnettes jumelées. Les chapiteaux taillés dans un seul bloc de pierre sont décorés de feuillages, de visages humains ou d'animaux. La pierre utilisée est le grès qui provient des carrières du Razès. Le centre du cloître comporte un bassin quadrilobe avec en son centre une vasque datant du XVIe siècle ainsi qu'un puits.
La salle capitulaire est aujourd'hui condamnée. Il ne subsiste qu'une fenêtre geminée en plein cintre ainsi que sa porte d'entrée qui a été entièrement murée.
Cette pièce jouxte la salle capitulaire et était réservée à l'abbé. Utilisée comme salon particulier ou chambre, elle présente une décoration remarquablement bien conservée. Le plafond peint à solives date de la toute fin du XVe siècle. Il présente des formes géométriques et des représentations animales et humaines. En revanche, sur les murs, les peintures datent du XIXe siècle et représentent les armoiries de tous les abbés de Saint Hilaire avec leur nom et date d'élection.
La partie sud de la galerie du cloître dessert les réfectoires de l'abbaye. Un réfectoire pour les moines et un autre pour les étrangers et hôtes de passage. Les deux réfectoires sont séparés par un épais mur renfermant une chaire de lecture d'architecture particulière. Un escalier étroit aménagé dans l'épaisseur du mur permet d'y accéder. La chaire est voûtée d'une croisée d'ogives à la clé de voûte circulaire et elle date du XIVe siècle. Une fois le moine assis, il était caché, seule sa voix ressortait de ce mur, atténuée d'écho. On entendait le moine mais on ne le voyait pas. Une façon unique de maîtriser l'acoustique et de favoriser l'écoute.
Le réfectoire des moines a été rénové au cours des années 2005-2006 par l'architecte en chef des monuments historiques et permet souvent aux artistes locaux de dévoiler leurs talents par le biais d'exposition. Des conférences, des concerts ont leurs places dans ce grand et bel édifice également.
L'église abbatiale date du XIIe siècle. Elle se compose d'une abside semi-circulaire en cul de four avec trois baies dotées de vitraux récents. L'abside est cantonnée de deux chapelles latérales une au sud et une au nord qui a été supprimée au profit de la sacristie. La nef est constituée de trois travées voûtées d'ogives datées du XIIIe siècle.