Lord Byron a intitulé un de ses poèmes le Prisonnier de Chillon.
Gustave Courbet a peint plusieurs fois le château lors de son exil suisse non loin de là à La Tour de Peilz. La représentation la plus connue est Le château de Chillon, huile sur toile peinte en 1874 et qui se trouve actuellement au musée Courbet à Ornans.
Dès la fin du XVIIIe siècle, le château attire les écrivains romantiques. De Jean-Jacques Rousseau à Victor Hugo en passant par Alexandre Dumas, Gustave Flaubert et Lord Byron, le château inspire les poètes du monde entier. Hugo dira « Chillon est un bloc de tours sur un bloc de rochers ». Certaines restaurations, inspirées par la vision romantique de l'esthétisme, se firent d'ailleurs au détriment de la véracité historique. En 1900, l'architecte Albert Naef continue les travaux de restauration pour aboutir à l'état actuel de l'édifice. Il refait l'intérieur et les tapisseries de certaines pièces comme la grande salle du bailli, appelée aussi la « grande cuisine bernoise ».
En 1939, le château accueille déjà plus de 100 000 visiteurs. La proximité avec la ville de Montreux n'est pas étrangère à cet engouement. Le succès ne cesse de croître au fil des ans et le monument enregistre désormais plus de 300 000 visites par année. Grâce aux restaurations, le château est en excellent état et donne une bonne vision de l'architecture féodale.