L’architecture dépareillée de l’abbaye donne la mesure de l’histoire mouvementée de la région. Le lieu a en effet connu cinq campagnes de restauration d'envergure, aux Xe siècle, XIIe siècle, XVe siècle, XVIe siècle et XVIIIe siècle.
Le plan général date du XVIIIe siècle, le pavillon central de l’abbaye est couvert à la manière Mansart.
Le plan de l'édifice est une croix latine, avec une nef unique séparée du chœur par le transept. La nef comporte quatre travées. La plus ancienne est de style roman, voûtée en coupole, la deuxième date du XVIe siècle, les deux dernières ont été refaites au XVIIIe siècle. La longueur totale du vaisseau est de 40m, la largeur de la nef est de 8m et sa longueur jusqu'au transept est de 25,5m. La hauteur des voutes sous la coupole est de 16m. L'épaisseur de la voute sous la coupole est de 1,3m
Un escalier monumental du XVIIIe siècle dessert les chambres des moines. Il s'agit d'un ouvrage remarquable car il n'est maintenu que par l'encastrement de ses marches et par les murs de l'édifice : il n'y a pas de piliers de soutien. La cage de l'escalier fait 8,10x8,4m de base pour une hauteur d'une quinzaine de mètres. De grandes fenêtres inondent le lieu de lumière. La rampe de l'escalier était autrefois dorée à l'or fin.
Après le passage des Huguenots en 1573, le cloître est dans un état lamentable et est reconstitué à partir d'éléments architecturaux achetés aux Carmes de Trie-sur-Baïse.
Sur proposition de la société académique des Pyrénées, la ville de Tarbes acquiert le cloître pour la somme de 4000 francs le 28 janvier 1890. La municipalité de Saint-Sever n'avait en effet pas les moyens d'en assurer la restauration.
Le monument est alors transféré dans le Jardin Massey.