Simple motte castrale au début du XI siècle, le château primitif devient une construction maçonnée quelques décennies plus tard sous Wilfrid de Virieu.
En 1220, il passe par mariage à la maison de Clermont et y demeure pendant sept générations. Antoine de Clermont vend le château en 1573 à Artus Prunier de Saint-André, premier président au Parlement de Grenoble. Il est agrandi et transformé par les propriétaires successifs sans en altérer l'ensemble qui reste parfaitement harmonieux.
Le Château subit deux sièges pendant les Guerres de Religion, période où il appartient au noble protestant Jean de Fay, seigneur de Virieu, qui développe la culture du ver à soie et se convertira ensuite à la religion catholique. En 1622, Louis XIII y séjourne et laisse six canons de campagne encore visibles aujourd'hui dans la cour d'honneur.
En 1874, le comte de Saint-Ferriol, dernier descendant des Prunier, vend le château à Alphonse de Virieu, descendant d'une des lignées du premier propriétaire. Il subit entre 1924 et 1928 une importante restauration. Pour cela, Henri marquis de Virieu vendra son château de Brangues à Paul Claudel, et confiera les travaux à l'architecte Sainte Marie Perrin, propre frère de Mme Claudel.