Le Castello San Giorgio est la partie ancienne fortifiée de ce qui constitue le Palazzo Ducale de Mantoue.
Le bâtiment strictement d'usage militaire fut construit par Bartolino da Novara pour François Ier Gonzague à partir de 1395 pour se terminer en 1406.
Le château comprenait une salle d'armes et des cellules d'emprisonnement (où furent enfermés des prisonniers dit martyrs de Belfiore en 1852) et même un escalier en spirale accessible aux chevaux.
Le bâtiment changea de destination et devint une demeure en 1459 par des transformations demandées par Ludovic II et effectuées par l'architecte Luca Fancelli, avec le Grand Appartement d'Isabelle d'Este, des salles de réceptions (des Soleils, des Coquillages, de la Frise, des Signatures...), une chapelle, des cabinets particuliers (des Sybilles, des Armoires, des Quatre Saisons, ...)
Des portiques dessinés par Andrea Mantegna ont été ajoutés ensuite autour de la cour.
À plan carré équipé de tours angulaires, le château est entouré d'un fossé, et comporte trois entrées barrées de pont-levis.
Il comprend, placé au terrapiano, près de la cour d'honneur,
Isabelle d'Este aménagea deux petites pièces de cette suite d'appartements pour un usage tout à fait personnel. L'une servit de studiolo (sans doute dès 1490). Isabelle d'Este y recevait ses hôtes parmi les allégories peintes par Andrea Mantegna, le Pérugin, le Corrège et Lorenzo Costa. L'autre petite pièce, la grotta (mentionnée pour la première fois en 1498), imitait une grotte souterraine.
La Camera Picta (dite aujourd'hui Chambre des Époux), est une salle entièrement couverte, parois et plafond (avec un faux oculus en trompe-l'œil), de fresques réalisées par Andrea Mantegna, située au piano nobile dans une pièce voûtée du donjon nord-est du château. Cette pièce réservée aux réceptions pour les invités de marque et abritait aussi les archives secrètes du couple princier. Les fresques avaient pour but d'exprimer la puissance du couple dirigeant Gonzague à ses invités de marque.
Mantegna les a réalisées en 9 années entre 1465 et 1475 (dates inscrites sur les parois).
Elle comporta Initialement des décorations dont un tableau en tempera et or sur bois (aujourd'hui de 54 cm x 42 cm) commandé à Mantegna à la fin des années 1450, dont le sujet est La Mort de la Vierge, et trois autres tableaux pour le même emplacement : L'Adoration des mages, l'Ascension et la Circoncision.
La chapelle refaite au XVIe siècle, toutes ces peintures ont été déplacées et quittèrent la ville, pour Ferrare où elles figurent dans un inventaire de 1588.