Une sépulture d'une fillette datant de l'âge du bronze est découverte en 1961. Elle comporte des objets d'inspiration mycénienne ou égyptienne, témoignant de l'importance des échanges effectués avec les peuples méditerranéens. Au VIe siècle, les Wisigoths envahissent le Languedoc-Roussillon : la montagne noire marque la frontière de leur territoire avec celui des Francs.
Au Moyen Âge, le site appartient aux seigneurs de Cabaret, mentionnés pour la première fois en 1067. Leurs richesses proviennent notamment de l'exploitation des mines de fer. Seuls trois châteaux sont probablement construits au XIe siècle et leur emplacement diffère de celui des ruines actuelles. Ils ne sont en effet pas sur la crête mais plus bas, sur le versant nord-ouest. Le village de Lastours est alors à leur pied, organisé en terrasses semi-circulaire suivant les courbes de niveau et descendant jusqu'au Grésilhou.
Les châteaux de Lastours sont un pôle d'activité religieuse cathare important durant le XIIIe siècle. Les seigneurs de Cabaret soutiennent en effet ce mouvement religieux. Pierre Roger de Cabaret est ainsi un fidèle de Raymond-Roger Trencavel qui a combattu à côté de lui lors de la défense de Carcassonne. Le village castral abrite donc de nombreuses maisons de parfaits et des évêques cathares séjournent à Cabaret : Arnaud Hot, Pierre Isarn et Guiraud Abith.
Le site subit dès 1209 les attaques de Simon de Montfort et résiste victorieusement. Le croisé Bouchard de Marly alors seigneur du château de Saissac est fait prisonnier par Pierre-Roger. Il est libéré en 1211 pour aller négocier une reddition avantageuse de Cabaret. En 1223, les seigneurs de Cabaret reprennent leurs terres et Cabaret devient le siège de l'évêché cathare du Carcassès. Le seigneur Pierre-Roger résista pendant de nombreuses années aux attaques des croisés. Mais en 1227, les châteaux sont de nouveau assiégés par Humbert de Beaujeu. En 1229, Cabaret capitule.
Les villages et châteaux sont pillés puis reconstruit (sur la crête) pour devenir des forteresses royales. La Tour Régine est construite par ordre du roi pour affirmer sa suprématie. Ils deviennent le centre administratif et militaire de six communautés formant la châtellenie du Cabardès.
Au XVIe siècle, les châteaux sont occupés par les protestants. Ils en sont délogés par le maréchal de Joyeuse en 1591.
Les châteaux sont abandonnés à la Révolution. Ils sont classés aux monuments historiques en 1905, et des travaux de restaurations sont entrepris. Les fouilles archéologiques sur le site sont toujours actives, notamment au niveau de l'ancien village castral.