La colline est occupée depuis l'époque romaine, où un temple est édifié. Un premier ensemble fortifié est construit au Sud pendant le V siècle mais abandonné quelques siècles plus tard pour le site actuel, situé au Nord. Le premier château-fort, construit probablement au cours du X siècle, était une construction en bois. Après avoir brûlé, il est rebâti en pierre calcaire au XII siècle, par un seigneur nommé Gérald Bastet, afin de contrôler la voie de communication existante le long du Rhône.
À la fin du XV siècle, un mariage unit la famille de Crussol à la famille d'Uzès. Le château est alors abandonné pour celui d'Uzès, plus confortable. Les guerres de religion lui redonnent un certain attrait puisqu'il est pris et incendié à plusieurs reprises par les différents belligérants. Il est définitivement rasé au cours du XVII siècle.
Le 3 septembre 1855, un tir de mine dans la carrière située sous le château provoque la destruction d'une partie de l'édifice. Le château fait l'objet d'une inscription au titre des monuments historiques depuis le 31 mai 1927. En 1952, la foudre détruit une partie du donjon.
La commune de Guilherand-Granges a acheté les ruines en 1984, mais le site est situé sur la commune de Saint-Péray. La communauté de communes Rhône-Crussol (Châteaubourg, Cornas, Guilherand-Granges, Saint-Péray, Toulaud) travaille à la réhabilitation du site. On peut voir aujourd'hui une belle avancée des travaux de rénovation.
Chaque début d'été, une fête a lieu pendant deux jours sur le site, avec des concerts, des animations, des reconstitutions…