La tour César qui date du XIIIe siècle a peut-être été érigée sur les ruines d’une tour gallo-romaine, d’où le nom qui lui est resté. Elle fit successivement office de prison, puis de magasin, avant d’abriter la vigie qui contrôle des mouvements du port.
Elle se dresse en avant de la façade sud-ouest à laquelle elle se rattache par deux courtines qui forment un réduit. Une poterne avec pont-levis permettait d’y accéder de l’extérieur du château. Bien que murée, cette poterne est visible depuis le jardin de la résidence du Préfet maritime.
Dernière grande tour du Château elle est construite au début du XVIeme siècle. Elle a subi peu de modifications. Les principales ont été réalisées par Vauban : le sommet de la tour est transformé en terrasse à canons et les salles intérieures voûtées. Le portail monumental construit à l'origine de la tour n'est plus visible depuis la construction de la Préfecture Maritime.
Après la porte de la fortification avancée, se présente le ravelin destiné à couvrir l'entrée principale du château. A l’origine un large fossé le séparait de l'ouvrage avancé, avec lequel il ne communiquait que par une porte ogivale, surmontée des armes de France et munie d'un pont-levis. Le pont-levis n'existe plus et les armoiries de France ont disparu. Ce ravelin casemate est percé de meurtrières. La forme de celles-ci indique qu'elles étaient destinées à recevoir de l'artillerie de petit calibre, tel des fauconneaux ou des arquebuses.
Situé à l’angle nord-est de l'enceinte, le donjon est en fait l'ancienne citadelle de la ville close du Moyen Âge. Ce cœur de l'appareil défensif médiéval est à lui seul un petit château isolé du reste de la place
À l’origine il était composé de trois tours principales reliées par des courtines : au sud, la tour Duchesse Anne, au Nord la tour du Donjon, à l'ouest, la tour Azénor. L'accès principal se trouve à l’ouest. Il est constitué d'une porte charretière défendue par un ouvrage de fortification crénelé et d'un pont-levis franchissant le fossé qui séparait la citadelle du reste de la ville. Cet ensemble formait une cour polygonale, dont le niveau était situé à près de 2,20 m sous le niveau actuel. L'ensemble abrite un puits, des oubliettes et plusieurs salles souterraines.
Flanqué du bastion de Sourdéac, avec une tour du donjon renforcée, le donjon sera parachevé par Vauban à partir de 1683. Un mur et des salles voûtées viennent relier les tours du Midi et du Donjon. Les poivrières disparaissent au profit de vastes plates-formes destinées à de puissantes pièces d'artillerie. Enfin, au XIXe siècle, on perce des baies. Le premier étage abrite les salles principales des Archives du port, l'étage supérieur la bibliothèque de la Marine et l'oratoire.
La tour actuelle a été construite au XIIIe siècle, sur les ruines de l'ancienne. Les deux niveaux inférieurs sont accessibles depuis la cour par un escalier pris dans l'épaisseur du mur. Ils servaient de réserves et de magasins. Les deux niveaux supérieurs, réservés à l'habitation, sont pourvus de cheminées et on y accède depuis le chemin de ronde. À l’intérieur les salles octogonales dont les pans coupés ne superposent pas exactement d’un étage à l’autre. Elle a subi peu de transformations si ce n’est celles de Vauban qui en modifia la toiture. Elle est abandonnée au XIXe siècle et le seul accès se fait par les courtines, l'entrée principale étant délaissée.
Son nom provient de la légende de la princesse Azénor qui nous est rapportée par le dominicain Albert Le Grand, dans un ouvrage la « Vie des Saints » : « …Azenor estoit de riche taille. droite comme une palme, belle comme un astre, et cette beauté extérieure n'estoit rien en comparaison de son âme ». Even, seigneur de Brest, n’avait qu’une fille se nommant Azénor. Vers 537, Elle épouse le comte de Goëlo. Les jeunes mariés s’installent dans un château construit par le roi Audren (Châtelaudren). Devenu veuf, Even se remarie avec une marâtre qui n’eut de cesse de se débarrasser de sa belle-fille. Jalouse, elle jure la perte d'Azénor. Elle l’accuse d’adultère en s’aidant de faux témoignages. Le comte de Goëlo croit à cette calomnie, et la princesse est enfermée dans la plus sombre tour du château. Condamnée à mort, elle échappe au bûcher quand on apprend qu’elle est enceinte. Les juges, probablement achetés à prix d'or, la condamnent à être placée dans un tonneau et jetée à la mer. Le tonneau vogue ainsi pendant cinq mois. Chaque jour un ange visite la fille du prince de Léon et lui apporte le nécessaire. Au bout de sa périlleuse errance, Azénor accoste au rivage de Beauport, en Irlande. Elle donne naissance à un fils qui reçu le nom de Budoc « sauvé des eaux » qui deviendra un grand saint. La belle-mère meurt, durant son exode, en avouant la vérité à l’époux d’Azénor. Celui-ci décide de partir à sa recherche pour se faire pardonner et la ramener. Mais il meurt lors de leur retour après l’avoir longtemps cherchée, suivi peu de temps après dans la tombe par sa femme. Even recueille et élève son petit-fils.
Cette tour constitua initialement la tour du logis du château du Moyen Âge. Elle tourne son front défensif vers l'intérieur de l'enceinte. A l’origine, cette tour sud était couronnée de créneaux et de mâchicoulis et couvert d’un toit. L’ensemble sera arasé pour aménager une plate-forme pour l'artillerie. L’ emplacement des corbeaux reste néanmoins visible.
Elle comporte, sur chacun de ces quatre niveaux, deux salles : l'une rectangulaire, l'autre hexagonale. Sa construction et ses aménagements lui permettaient d'assurer une parfaite autonomie. Elle comportait une cuisine, des appartements, des celliers percés d'embrasures de tir, une galerie intérieure et des baies d'éclairage. La tour doit son nom au bref séjour de la duchesse Anne en 1508 de retour de son pèlerinage au Folgoët. Son aspect résidentiel se remarque aux éléments de confort comme la grande cuisine et son élégant passe plats, les cheminées, les latrines, les baies à coussièges et le soin apporté à l’oratoire. L’oratoire est, avec l’appartement du gouverneur, la pièce du château dont l’architecture est la plus soignée. Il comporte une Voûte sur croisée d’ogives qui surplombe le Gisant de Gilles de Texue. Les arcs reposent sur quatre consoles sculptées représentant chacune un des évangélistes : le lion de Marc, l’homme de Mathieu, le taureau de Luc, l’aigle de Jean. La Clé-de-voûte représente un homme accroupi.
En 1589, le gouverneur de la place embrasse le parti de la Ligue. Mais Guy de Rieux, capitaine de l'armée royale, se fait livrer Brest qui devient alors la seule ville bretonne favorable à Henri IV. Ses armoiries sont gravées dans la pierre du château (1589). Il meurt en mer en revenant du siège d'Hennebont (Morbihan) en décembre 1590. Son frère lui succédera. Ces armes sont trouvées, après-guerre dans les décombres à proximité du donjon. La pierre est incrustée dans la façade de la tour du Midi lors des travaux de restauration au cours des années 1950
Plusieurs tentatives de débarquement anglais au milieu du XVIe siècle concrétisent la menace d’attaque du château. Elles incitent à parachever la fortification par l'édification du plus puissant ouvrage de la place. Œuvre de l’ingénieur italien, Pietro Fredance, ce bastion en forme de trapèze enveloppe le donjon au nord et le protège d'une attaque terrestre. La pose de la première pierre a lieu en décembre 1560. Sa construction dura trente-sept ans.
Il comporte une vaste plate-forme d'artillerie et des casemates souterraines dont les larges embrasures couvrent l'entrée du port. On y accède par un large escalier ouvrant dans la cour du donjon. Un petit escalier desservait un guichet aujourd'hui obstrué qui se trouve au pied du bastion, à l'aplomb de ces casemates. Une galerie de contre-mine contourne les assises de la tour du donjon à 15 mètres sous le terre-plein. Elle conduit à la seconde série de casemates, couvrant autrefois la porte principale et la courtine nord de la façade. Celle-ci se trouve aujourd'hui enterrée sous le remblai du parking. Des échauguettes placées à ses angles, telles des figures de proue, agrémente l’ensemble.
La tour du donjon, fut érigée en 1597 par Sourdéac, à l'emplacement d'une tour ruinée, probablement gallo-romaine.
En 1964, le châteaux dispose d'un ensemble de bâtiments permettant d'accueillir les troupes qui y sont stationnés.
A. La caserne Paradis.
B. Les Bureaux de la place et de l'intendance, ancienne prison civile (1822-1859).
C. La caserne Esplanade, servant d'infirmerie, adossée à la courtine sud.
D. La caserne Plougastel est construite a l’intérieur du château par Sourdéac entre 1591 et 1624 pour loger les officiers de la places. Elle s'éleve entre emplacement du globe terrestre en bronze et l'extrémité de l'aile Sud de l’actuel Préfecture Maritime. Ses façades sont classés monuments historique en 1923 avant de disparaître sous les bombardements de 1944 lors du siège de la ville.
E. La Caserne Monsieur, servant de salle d'armes est située dans le prolongement de la caserne Plougastel. Ce bâtiment à galerie bâtie en 1822-1825 s'éleve sur l'emplacement d'une très ancienne caserne qui tombait en ruines.
F. La caserne César est construite en 1766 perpendiculairement à la caserne Monsieur, elle forme avec elle un angle droit et l'un des côtés de la place. le passage Entre ces deux bâtiments conduit à la porte du château donnant sur le Parc-au-Duc. la caserne tire probablement son nom de la tour dont elle est proche. En arrière et sur la même ligne se trouve des magasins qui sont adossés à la courtine qui relie la tour César à la tour de Brest.
G. La salle d'armes est bâtie en 1777 sur l'emplacement des logements du Major de la place et du lieutenant du Roi. Ces derniers disposent de deux jardins, l'un d'agrément, l'autre potager, s'étendant l'un et l'autre jusqu'à la courtine qui relie la tour de Brest au donjon. De ces jardins on pouvait descendre par un chemin en pente douce et en zigzag, jusqu'au bas du ravin où se trouvaient les lavoirs et la fontaine, ainsi que la poterne donnant sur la rivière. Ce ravin est comblé en 1777,
H. Magasins de l'artillerie, édifiés en 1777 et 1624 par Sourdéac (classée en 1923).
Devenu un monument à part entière, le socle du « Triomphe d'Amphitrite, se trouve dans la cour de la Préfecture maritime. Ce piédestal s’orne de trois tritons, fixés à une colonne, crachent un filet d'eau dans leur vasque. Il est l’œuvre de l’ingénieur Jean Bernard Tarbé de Vauxclairs.
La statue de marbre blanc d'Antoine Coysevox, d’abord détournée des jardins de Marly par le gouvernement Consulaire, est implantée par le Préfet maritime Caffarelli proche de l'emplacement actuel de la porte Tourville. Le monument gênant les évolutions sur ce terre-plein, le préfet Chaucheprat le fait transférer en 1912 dans les jardins de la Préfecture maritime, l’ancien hôtel Saint-Pierre. En 1940, le patrimoine historique et artistique de Brest est mis à l'abri dans le château de Kerjean. À la Libération le piédestal est démonté et remonté dans le château ; quant à la statue elle demeure au musée du Louvre.