Un camp militaire romains fut construit le long de la voie romaine reliant Vienne à Milan au niveau de la «septième borne» d'où l’origine du nom « SEPTEME ». C'est sur l’emplacement de ce camp romain que fut édifié un château fort au X siècle, un château carré sans tour d'angle dont existence est attestée par une charte de 1066.
Il appartient aux Beauvoir de Marc qui le cèdent aux comtes de Savoie. En 1355 lors du traité de Paris, il rejoint le Dauphiné.
Cette forteresse a été utilisée jusqu’au milieu du XVIe siècle puis les ruines des murs et des toitures ont comblé l’intérieur jusqu’au niveau du premier étage.
Une maison forte dont la salle de garde occupe tout le rez-de-chaussée a été édifiée au XIIe siècle. Puis la tour ronde a été construite au XIVe siècle, reliée à la maison forte par une passerelle de bois. Au XVIe siècle la maison forte a été augmentée de deux étages devenant le donjon et la passerelle de bois a été remplacée par des loggias Renaissance.
Charles IX et sa mère, Catherine de Médicis, y séjournent dans la nuit du 16 au 17 juillet 1564.
Sous l'Empire, Septème appartient au comte André d'Albon, maire de Lyon et les propriétaires actuels la famille de Kergorlay sont ses descendants.
