Il est situé à l'est de Saint-Romain-d'Albon, sur la commune d'Albon. Il était le chef-lieu du mandemant d'Albon au Moyen Âge, s'étendant sur les communes d'Albon, d'Andancette, d'Anneyron et de Saint-Rambert-d'Albon. Le siège du pouvoir s'est déplacé de Saint-Romain-d'Albon où se trouvait un important établissement gallo-romain vers le site perché de la Tour aux environs du X siècle.
Le château d'Albon fut le berceau de la puissante famille d'Albon, mentionnée dès l'époque carolingienne, qui prit le titre du comte au XI siècle et fut à l'origine de la constitution du Dauphiné comme principauté territoriale.
Vers le IX siècle, une petite chapelle existait sur ce site, ainsi que de grands silos servant au stockage des céréales. A la fin du XI siècle, cette chapelle fut remplacée par une chapelle romane plus importante décorée de moulures, d'enduits peints et de vitraux. Le pouvoir des comtes d'Albon est très important à cet époque. Est alors construit un palais constitué de l'aula, une grande salle de réception avec de grandes fenêtres et la camera, quartiers privés. Puis, furent érigés au XIII siècle la motte et le donjon divisé en trois niveaux. La tour fut d'abord construite en bois puis en molasse et galets comme le palais. La chapelle castrale est reconstruite et un nouveau bâtiment apparaît, peut-être une grange qui sera abandonnée après un incendie au XIV siècle. Finalement, le château fut abandonné à partir du XVI siècle. Les siècles suivants, il servira de carrière à l'exception de la tour.