La vulnérabilité de la forteresse entraîne son démantèlement à partir de 1591, sur ordre donné en 1590 par le roi Henri IV. Le site de la moitié sud-ouest de la forteresse est urbanisé par la création de la rue de la Truie et de la rue du Bailliage. La partie nord du château est conservée pour constituer l'enceinte de la ville. À proximité de la Porte Bouvreuil, des notables font construire des hôtels particuliers : l'hôtel d'Hocqueville (qui deviendra le Musée de la Céramique) et l'hôtel de Mathan (qui deviendra une filature de coton, puis le couvent des Ursulines.
Au début du XXe siècle, subsistent encore le donjon et la tour de la Pucelle. Cette dernière, en très mauvais état, est détruite pour permettre l'agrandissement du couvent des Ursulines. La destruction programmée du donjon en 1840 est interrompue par les Monuments Historiques ; son achat et sa restauration (1868-1884) sont finalement réalisés grâce à un comité de souscription national ; le monument est ensuite donné au département de la Seine-Inférieure.
À la fin du XIXe siècle, trois rues sont créées sur l'emprise du château : rue Jeanne-d'Arc, rue du Donjon et rue Philippe-Auguste. Durant la Seconde Guerre mondiale, le donjon désormais appelé tour Jeanne d'Arc, est transformé en bunker par les forces allemandes d'occupation.
Dès la fin de sa construction, en 1210, le château de Rouen devient le siège du gouvernement de la province. L'Échiquier de Normandie se tient dans la grande salle du logis seigneurial : itinérant en Normandie jusqu'en 1302, puis perpétuel à Rouen. Le roi de France nomme un capitaine du château, toujours un personnage de haut rang. Les effectifs du château ne sont jamais importants, de 20 à 110 hommes d'armes. Le château est utilisé comme armurerie et comme poudrière.
En 1292, le château de Rouen est assiégé par la population en révolte contre la pression fiscale, entraînant en punition la suppression temporaire de la commune de Rouen et la mise en place d'une administration directe par le bailli.
La ville de Rouen et le château sont le théâtre d'événements historiques majeurs durant la guerre de Cent Ans en Normandie (1337-1453) :
Le 5 avril 1356, à l'occasion de la conspiration contre le roi de France Jean le Bon, le fantasque roi de Navarre, Charles le Mauvais, est arrêté dans la grande salle du château et quatre barons sont exécutés. Cet épisode historique, représenté dans les Chroniques de Jean Froissart, est l'évênement déclencheur de la désastreuse bataille de Poitiers (1356).
En 1382, révolte des Rouennais qui s'emparent de la forteresse.
En 1418, les Bourguignons alliés des Anglais s'emparent du château de Rouen et en 1419 le roi Henri V d'Angleterre entre dans la ville après un siège de six mois. Le château devient le siège du gouvernement anglais en France ainsi que la résidence du jeune roi et celle de Jean de Lancastre, duc de Bedford, et régent de France.
À partir de 1422 (traité de Troyes) la France a deux rois : Henri VI d'Angleterre, roi d'Angleterre et de France, au nord du pays ; et Charles VII de France au sud du pays. Rouen est la véritable capitale des régions fidèles au roi d'Angleterre et le château de Rouen est la résidence du roi et de son précepteur le comte de Warwick.
En 1430, Jeanne d'Arc est capturée devant Compiègne et vendue aux Anglais. Elle est amenée prisonnière à Rouen en décembre, et enfermée dans une tour qui prendra le nom de Tour de la Pucelle. Son procès et ses interrogatoires se tiennent dans différentes salles du château, jusqu'à son exécution le 30 mai 1431, sur la place du Vieux-Marché.
En 1432, Henri VI repart en Angleterre et le régent Bedford réside à Paris. Des opposants à l'occupation anglaise s'emparent du château, sous la conduite d'un nommé Ricarville, capitaine gentilhomme du pays de Caux. Le comte d'Arundel, commandant de la forteresse, se réfugie dans la Tour Carrée, puis Ricarville se retranche dans le donjon pendant 17 jours, avant de se rendre.
En 1442 le 28 avril, naissance au château du futur roi d'Angleterre Édouard IV, fils du duc Richard d'York et de Cécile Neville.
Charles VII de France assiège les Anglais réfugiés dans le château, rentre triomphalement dans Rouen le 10 novembre 1449 et met fin à la domination anglaise par la bataille de Formigny. Dunois, fils illégitime de Louis, duc d'Orléans, devient capitaine de la ville et du château.
Henri V d'Angleterre est roi d'Angleterre de 1413 à 1422. Vainqueur de la bataille d'Azincourt le 25 octobre 1415, il s'installe à Rouen en janvier 1419. Il se fait ensuite reconnaître comme héritier du trône de France au traité de Troyes (1420), s'installe à Paris en 1421, mais meurt prématurément en 1422 au château de Vincennes, sans avoir pu ceindre la couronne de France.
Henri VI d'Angleterre est roi d'Angleterre de 1422 à 1461, assisté de ses deux oncles, Humphrey de Lancastre, duc de Gloucester, régent en Angleterre et Jean de Lancastre, duc de Bedford, régent en France, installé au château de Rouen (château où il meurt en 1435 et ville où il est enterré). Henri VI est sacré roi de France le 16 décembre 1431, à l'âge de dix ans, mais il perd Rouen en 1449. Confronté à la guerre des Deux-Roses, qui débute en 1455, il est déposé le 4 mars 1461 par Édouard IV. Emprisonné à la tour de Londres en 1465, il est restauré sur le trône puis à nouveau dramatiquement emprisonné jusqu'à son exécution.
Édouard IV naît en 1442 au château de Rouen.
L'Échiquier de Normandie est réinstallé dans le château et se tient dans la grande salle jusqu'en 1506, date à partir de laquelle il se tient dans le Palais du Neuf-Marché (futur Palais de Justice). En 1515, l'Échiquier de Normandie devient le Parlement de Normandie.
De 1465 à 1466, la forteresse est livrée à la ligue du Bien public, ennemie du roi Louis XI. En punition, l'anneau ducal du duché de Normandie est solennellement et symboliquement brisé le 9 novembre 1469 sur une enclume dans la grande salle du château.
En 1485, Charles VIII de France est le dernier roi de France à résider au château.
Perdant son utilité, la forteresse n'est plus entretenue. Le 24 juillet 1542, une explosion de poudres et un incendie ravagent les tours du châtelet d'entrée.
Lors des guerres de religion, les protestants s'emparent de la forteresse et occupent la ville en 1562, mais celles-ci sont reprises par les armées du roi Charles IX de France, six mois plus tard. Lors de la Journée des barricades (1588), les partisans de la Sainte Ligue investissent le château. En 1590, le marquis Christophe d'Alègre, gouverneur de Gisors, partisan d'Henri IV, alors roi de Navarre, prend le château, sans conquérir la ville. Assiégé et canonné par Charles Ier de Lorraine, duc d'Aumale, il est contraint à la reddition.