Après être passé au pouvoir des comtes de Provence et de la république de Gênes, il appartient pendant plusieurs siècles aux Grimaldi qui remanient les constructions et introduisent l'artillerie dans la défense. À l'origine, le château était une forteresse réunissant dans une même enceinte, percée de six portes fortifiées, le donjon et le village. Au XV siècle , le donjon prend la dénomination de château et le reste de la forteresse devient le village qui, jusqu'aujourd'hui, conserve intact son caractère médiéval : ruelles étroites couvertes de voûtes romanes, vieilles maisons dont les murs moussus sont encore garnis de lierre et de pariétaires.
L’ancien donjon
Il est le plus vieux de France. Construit sur un rocher de poudingue tertiaire, il domine de 26 mètres sur la façade opposée. Les murailles qui ont de deux à quatre mètres offrent à la vue tous les éléments de défense : embrasures de canon, mâchicoulis, meurtrières, créneaux, archières, etc. Au premier étage, à la salle des Cérémonies féodales dont le plafond est incendié, en dernier lieu, en 1747. Remarquer : l'emplacement du trône seigneurial, celui d'un cachot muré, au centre, une citerne de forme cubique ; la fenêtre à meneau, du XV siècle. En contrebas se trouve le magasin aux vivres, creusé dans le roc. Le quatrième étage représente la plate-forme supérieure d'artillerie, offrant un panorama circulaire sur les toitures pittoresques du village, la mer, le cap Martin, la principauté de Monaco, le mont Agel.
Il est inscrit aux monuments historiques par arrêté du 28 février 1927.
