Il se situe dans des bâtiments construits au XII siècle sur les remparts gallo romains de la ville. En 1305, une émeute retentit dans la cité. Lorsque l’ordre est rétabli, le roi de France condamne les bourgeois de Beauvais à indemniser Simon de Nesle, seigneur épiscopal. Avec cette argent, ce dernier fait construire une porte d’entrée fortifiée flanquée de deux tours imposantes pour se protéger.
À l’intérieur, une porterie du XIV siècle représentant des sirènes musiciennes (au rez-de-chaussée) et des fragments de pavage (au premier étage).
Des graffitis recouvrent les murs de la tour nord rappelant que la bâtiment était autrefois une prison. Quant à la tour sud, on peut y voir une salle basse, autrefois utilisé comme réserve. Au début du XVI siècle, l’évêque Louis Villiers de l’Isle-Adam fait reconstruire le bâtiment principal dans l’esprit de la Renaissance tout en conservant les ornements caractéristiques gothiques. Il y ajoute une tourelle d’escalier à vis augmentée d’une poivrière et d’un campanile.
Sous l’Empire en 1811, la Préfecture s’y installe avant d’être restitué à l’évêque sous la Restauration (1822). En 1848, le bâtiment devenu Palais de Justice deux ans auparavant. Au cours de la seconde guerre mondiale le Musée départemental, installé depuis 1912 dans cette grande bâtisse, s’effondre sous les bombardements. Le bilan est important : destruction presque complète des collections d’archéologie, de géologie et du fonds régional d’autres objets d’art.
Les œuvres sauvées, ainsi que celles acquises après, sont provisoirement installées dans les combles de l’ancien Palais épiscopal. En 1973, profitant du déménagement des services de la Justice vers un tribunal flambant neuf, le Département récupère l’ensemble des bâtiments et engage un vaste programme de restauration et d’aménagement. Ces travaux se terminent en juin 1981 avec l’ouverture d’un nouveau centre muséographique. Néanmoins de plus en plus de problèmes de charpente du Palais obligent le Conseil général à fermer les salles au public en 1997.