Le duc Jean Ier de Berry, qui était aussi comte apanagier de Poitiers, reconstruit la partie du palais détruite par l'incendie de 1346. D'une part, le château et les remparts sont relevés ; d'autre part, les appartements privés sont reconstruits dans le style gothique flamboyant par l'architecte et sculpteur Guy de Dammartin ; enfin, la grande salle est ornée d'une magnifique triple cheminée, en arrière de laquelle trois verrières furent placées. Ces travaux furent effectués de 1388 à 1416, pendant les trêves dans la guerre de Cent Ans.
La tour Maubergeon fut reconstruite sur trois étages voûtés d’ogives, éclairés de fenêtres à vitraux, et ornée au sommet de dix-neuf statues, dont seize subsistent. Celles du duc et de son épouse Jeanne de Boulogne ont disparu, restent celles de leurs vassaux, en habits de clercs. Inachevée, la tour ne possède pas l'étage de mâchicoulis ni les dais couvrant les statues.
Guy de Dammartin dota la salle de trois cheminées monumentales, ornée de sculptures de style gothique flamboyant. Une balustrade y fut ajoutée au XIXe siècle. Le mur sud de la salle fut remanié : il fut percé de grandes baies, devant lesquelles passent les conduits des cheminées, les masquant de l'extérieur, mais donnant l'illusion d'un grand fenestrage à l'intérieur. À l'extérieur, ce mur est orné de gâbles et de choux frisés. Le mur, surnommé à l'époque la belle cheminée de Poitiers, est un des premiers exemples du style flamboyant dont Dammartin est un des initiateurs. C'est également à lui que l'on attribue les quatre statues qui ornent le mur de la belle cheminée (elle furent longtemps attribuées à André Beauneveu). On y voit le roi Charles VI dit le Fol, la reine Isabeau de Bavière, Jean de Berry dont la statue a été fortement remaniée au XIXe siècle, et sa deuxième épouse Jeanne de Boulogne. Ces œuvres, témoignages exceptionnels de la sculpture française de la fin du XIVe siècle, ont été moulées et des copies sont désormais visibles depuis le printemps 2007 dans la grande salle.
Une scène du film Jeanne d'Arc y fut tournée par Luc Besson.
La rue de la Petite Échelle qui donne sur l'arrière du Palais, est l'ancien accès côté ville de la forteresse médiévale. Le fossé était franchi par une échelle, d'où le nom. Elle servit longtemps de raccourci aux habitants du quartier, qui coupaient à travers la salle des Pas perdus. Ce passage a été fermé suite à des vols dans les bureaux des greffiers.
Le palais des comtes devint le siège du tribunal de grande instance et de la Cour d'Appel de Poitiers à partir de la Révolution, qui perpétuait ainsi sa fonction d'Ancien Régime. L'ancienne entrée, par "l'échelle du palais" étant devenue insuffisante, on commanda des transformations à l'architecte poitevin Vétault. Celui-ci fit une nouvelle façade sur l'ancienne place St-Didier. Un escalier monumental sommé d'un portique dorique, image majestueuse que l'on voulait donner de la Justice à l'époque, lui fut ajouté en 1821 de même qu'une aile en retour d'équerre dont le style, courant à l'époque, s'inspire librement des palais romains du Cinquecento.
Les armoiries royales du fronton furent remplacées par la Charte de 1830 après la Monarchie de Juillet. En 1852, le tribunal de première instance fut abrité dans cette aile. C'est également au XIXe siècle que les appartements privés construits au XIVe siècle furent démolis pour laisser la place à la Cour d'appel et au greffe.
En 1870, il abrita la Chambre criminelle de la Cour de cassation.