Suite à cet évènement, il est décidé de construire un fort en baie de Morlaix. Toutefois, pour construire ce type de bâtiment sur la côte, il faut une autorisation du roi accordée par François Ier sur intervention du duc d'Étampes en 1542. Mais aucun financement royal n'est prévu. Le fort doit être construit sur les deniers des Morlaisiens qui seront remboursés plus tard, lorsque les finances du royaume le permettront. À titre de compensation, le Roi leur octroie le privilège de nommer le gouverneur du fort ainsi que sa garnison tout en assurant son équipement et son traitement. Ce privilège se révèle fort couteux, ainsi, en 1620, le budget alloué à la gestion du fort est de 18 000 livres.
Le choix de l'emplacement se porte sur un îlot rocheux, dépendant du village de Plouezoc'h, nommé « Taureau » qui contrôle l'accès à la ville et oblige les navires à emprunter la seule passe possible, à l'ouest, à portée de canon.
Les bourgeois de la ville entreprennent la construction de la forteresse. Elle se compose d'une tour d'artillerie - la Tour Française peut-être due à l'architecte de la Renaissance Philibert de l'Orme, et de canonnières situées au ras de l'eau et d'une enceinte haute de 6,5 m.
En 1544 est nommé son premier commandant, Jean de Kermellec qui dispose d'une garnison forte de 23 soldats, un trompette, un canonnier ainsi qu'un aumônier. Cependant, ce premier fort avait été construit dans la précipitation et les assauts répétés de la mer détruisent la Tour Française en 1609. Cette dernière est reconstruite en 1614.
Dans son projet du 6 avril 1689, Vauban décrit le fort primitif comme « extraordinairement petit, bas, peu contenant, et très mal assorti ». La découverte d'un soubassement de colonne en granite et du dallage en schiste du logement du gouverneur lors d'un sondage archéologique entrepris en 2001 pendant les travaux de restauration a permis de déterminer le niveau de la cour du fort primitif à environ cinquante centimètres de profondeur.
En 1660, le Roi Louis XIV reprend le fort aux Morlaisiens et l'intègre dans le système de défense du royaume.
Vauban, ingénieur-architecte visita le château en avril 1689 et le trouva en fort mauvais état. Dans un rapport daté du 6 avril 1689, Vauban fait une description du fort primitif avant de donner son projet pour la reconstruction ; c´'est ce projet général et ces idées qui seront utilisés jusqu'à l'achèvement du château en 1745. La tour Française, même si elle est en bon état au niveau de sa maçonnerie, fait l'objet des bons soins de l'ingénieur. La tour d'artillerie devant assurer la défense du fort pendant sa reconstruction. Vauban propose de changer les deux planchers et leurs corbeaux de pierres de taille pour les ancrer dans le vieux mur, de réparer toutes les embrasures de la tour et de les doter de sabords.
Du reste de l'édifice, il veut construire un nouveau fort de « bonne et solide maçonnerie à chaux et sable ». Son profil « doit être fort et robuste, tant à raison des coups de mer dont il sera terriblement battu que de la grande hauteur qu'il est nécessaire de lui donner tant pour le rendre inaccessible aux entreprises de basse mer, que pour lui donner fleuron supérieur à celle de tous les vaisseaux qui passeront près ». La tour Française dominera l'ensemble du nouveau fort. Les quatre casemates à canons de l'ancien fort seront « déménagées », une nouvelle batterie basse voûtée de « pierres ardoisines » remplacera l'ancienne. Les basses embrasures sont destinées, selon les propres termes de Vauban, « contre le dehors à tenir du mousquet ».
Les travaux du nouveau fort du Taureau approuvé par Vauban commencent au printemps 1689.
Ce sont les ingénieurs Siméon Garangeau et Frézier qui mènent la reconstruction à son terme.
Garangeau meurt en 1741 à l'âge de quatre-vingt-quatorze ans, avant d'avoir pu terminer le château du Taureau – la dernière phase des travaux commence en 1741 et s'achève en 1745. La réalisation des plans d'achèvement du fort est donc confiée à Frézier, ingénieur architecte du Roi qui collabore déjà, depuis 1717, au chantier. Le château fut totalement achevé en 1745. Si économie et fonctionnalité semblèrent toujours guider l'évolution des travaux, en réalité il y eut toujours décalage entre les divers besoins et les possibilités réelles de l'édifice : le fort est jugé trop exigu !
Forteresse, garnison, octroi, cet édifice fut aussi une bastille à partir de 1720 tout en restant un bâtiment de défense côtière, où étaient emprisonnés des gentilshommes bretons à la demande de leur propre famille. Au XVIIIe siècle, un certain Tapin de Cuillé, écrivain fourbe et menteur, y passera 20 ans, sur simple lettre de cachet. En raison de sa structure, seul un maximum de 10 prisonniers pouvaient y être enfermés.
En 1902, Prosper Hémon publie une brochure sur Sébastien du Trévou, un lieutenant de vaisseau, commandant de la corvette Le Papillon en 1787 et 1788. Les démêlés du Comte du Trévou avec son équipage l'amènent à être enfermé au château du Taureau d'où il veut s'évader. Son corps est retrouvé fracassé sur les rochers de Plougasnou
Pendant trois siècles, le château du Taureau est un acteur de l'histoire de Bretagne et de France à l'instar du château d'If (rade de Marseille), de Saint-Malo, la cité-corsaire et de l'arsenal de Brest.
Le fort du Taureau continue à l'occasion à servir de prison : des communards, tel Louis Auguste Blanqui, y sont relégués. Il est enfermé au fort du Taureau le 17 mars 1871 à la veille du début de la Commune. Blanqui occupe une pièce voûtée appelée « salle de discipline ». C'est là qu'il rédige L'Éternité par les astres, un essai philosophique sur l'univers et la condition humaine.
Les progrès de l'artillerie rendent obsolètes de nombreuses fortifications. Désormais, c'est sous le roc que les hommes se protègent en attendant l'usage du béton armé. Le fort du Taureau cesse de remplir son rôle militaire en 1878 et est déclassé en 1883. En 1889, le fanal s'éteint définitivement. Au cours de la dernière période de tension politique avec l'Angleterre (affaire de Fachoda), le département de la Marine procède à l'installation de quatre canons à tir rapide sur la terrasse du fort, afin que le château serve de centre de dépôt et de ravitaillement pour les torpilleurs.
En 1544, la première garnison comptait un peu moins de 30 hommes. Ce nombre varia au fil des époques et surtout des besoins. Ainsi, en 1593, il y avait 38 hommes, en 1702, 45. Le point culminant fut atteint en 1811 avec un effectif de 150 soldats. De plus, la garnison était renforcée par la présence de chiens dont le nombre maximum connu était de 6.
Concernant les pièces d'artillerie, le maximum fut atteint en 1778 avec 23 pièces. Sous Napoléon Ier, ce nombre est de 14.
En 1845, un fanal (de couleur blanche puis rouge) est installé sur l'échauguette nord du fort. Quatre des onze casemates (n° 2, 4, 6 et 10) sont armées par des canons de 30 livres modèle 1840 sur affût de fer modifié. La batterie basse est conçue pour tirer vers la passe de 200 mètres de largeur à bout portant… La batterie haute est constituée de neuf obusiers de 22 cm modèle 1827 sur affût de fer. D'un calibre de 221 mm, les obus pèsent un peu moins de 26 kg. Des travaux ont été réalisés pour cette nouvelle artillerie…
L'ancienne cuisine du XVIIIe siècle abrite un poste de télégraphie tandis que le magasin aux vivres du bâtiment devient la cuisine dotée d'un fourneau. Des latrines occupent la casemate n°1.