Le bourg castral de Brégançon a été édifié sur un ilot rocheux de 2000m² culminant à une altitude de 25 mètres. L'accès se fait par un pont-levis qui franchit le fossé creusé dans le rocher et donne sur le châtelet d'entrée flanqué de deux tours rondes. Il ne subsiste qu'un pan du mur d'enceinte percé d'archères en fente longue. Le village et son église ont disparu. Les autres bâtiments ont été recouverts par les constructions modernes conçues par l'architecte de la Marine nationale Pierre-Jean Guth.
L'ilot et le fort de Brégançon sont sites archéologiques, ont été classés au titre des sites le 27 décembre 1924 puis en 1962 et monument historique le 25/09/1968
Il s'agit donc d'un fort qui a conservé son aspect d'origine, du XVIIe siècle, composé de deux tours (le donjon et la tour ouest) et un corps de bâtiment, agrémenté d'un belvédère dominant la falaise du rocher et la plage privée de la résidence. Il comporte également une piscine, un héliport et un jardin.
La sécurité est assurée par deux pelotons de gendarmerie, deux équipes de la garde républicaine qui y séjournent en permanence, un patrouilleur et un autre navire de la Marine nationale lorsque le président y est.