En 1450, Philippe le Bon engage des négociations avec la ville pour obtenir des subventions pour la construction d'un nouveau palais. Il obtiendra 6 000 livres sur quatre ans octroyés par le Magistrat. En 1453, le terrain de l'ancienne manse de Rihout (ou Rioult ou Rihoult), îlot marécageux enserré par les bras de la Deûle, est acquis et les travaux de construction sur les plans de l'architecte Evrard de Mazières sont engagés. Ils s'achèveront vingt ans plus tard sous Charles le Téméraire. Le palais comprenait quatre ailes de proportions différentes formant un quadrilatère, encadrant une cour d'honneur. La nature marécageuse du terrain occasionna rapidement des dommages au bâtiment, et d'autre part des réparations importantes durent être effectuées dès le siècle suivant, à cause de la qualité médiocre de la pierre utilisée, venant de la carrière de Lezennes, bien que l'essentiel fut construit, contre la volonté du duc Philippe le Bon, en brique. L'empereur Charles Quint y a séjourné. Le palais Rihour fut racheté 90 000 florins par la ville au roi d'Espagne en 1664 pour servir de « maison de ville », la précédente étant située au débouché de l'actuelle rue Faidherbe. Des aménagements furent alors apportés à la façade nord.
En 1700, l'aile nord est endommagée par un incendie à la suite d'un bal nocturne et reconstruite dans le style de l'époque. En 1756, c'est l'aile ouest qui est ravagée par un incendie. Elle sera restaurée dans le style Louis XIV. Un nouvel incendie endommagea ultérieurement la partie sud-est qui fut laissée en l'état, et le palais fut finalement détruit en 1846 pour être intégralement reconstruit dans un style néo-renaissance par Charles Benvignat. La chapelle du XV siècle, établie sur des fondations antérieures à la construction du palais, est conservée à l'arrière du bâtiment et l'escalier d'honneur de la cour centrale déplacé pierre par pierre devant celle-ci, pivotant de 90° par rapport à son orientation primitive. La même année eut lieu la première représentation de la cantate de Hector Berlioz (la seule de son vivant). En 1875, il est classé monument historique
Un nouvel incendie eut lieu le 23 avril 1916, et une grande partie des archives de la ville disparut à cette occasion. Le Palais Rihour fut alors rasé, à l'exception de la chapelle et de l'escalier du XV siècle, préservés et de quelques arcades de brique du bâtiment XIX siècle. En 1929, l'imposant Monument aux Morts d'Edgar Brouty et Jacques Alleman fut dressé devant ces vestiges, en souvenir des destructions et souffrances subies par Lille durant la Première Guerre mondiale ; il éclipse malheureusement, quand on arrive par la grand-place attenante, ce qu'il reste du palais lillois des ducs de Bourgogne, dont les vieux murs auraient peut-être mérité plus d'égards.
