Le château est bâti sur des terres appartenant primitivement aux chevaliers de Saint-Jean de Jérusalem. Le terrain devient ensuite la propriété de Gaillard Tournemine (dont il tire son nom), de Thomas Faverill, de Jean de Crésolles, de la famille Pantin et de Jean de Malestroit.
Construit en 1410 par Jean de Malestroit, évêque de Saint-Brieuc entre 1406 et 1419 et de Nantes entre 1419 et 1443, chancelier de Jean V depuis 1408, cette demeure médiévale passe entre les mains de d'Hervé de Malestroit, de Jean de Mésanger et des Chanoines de Nantes avant d'être rachetée en 1457 par le duc de Bretagne . C'est dans cette cour souveraine que les vassaux du duc votent les impôts. En 1485, François II confie le rôle des États dans les contentieux à une cour de justice, Parlement de Bretagne. Le château sert alors d'auditoire au Parlement ainsi que de demeure au président.
Le château restera le siège de l'administration du Parlement jusqu'en 1535, trois ans après la signature du traité d'Union de la Bretagne à la France, voté par les États de Bretagne en 1532. En 1554, alors que le Parlement s'installe à Rennes, le roi de France Henri II vend l'Hôtel. Au XVII siècle, l'hôtel appartient à Pierre de Sérent, Président du Présidial de Vannes, qui commandite la réalisation du cabinet des Pères du désert composé de 66 panneaux de bois, représentations de tous les pays et de toutes les époques d'après des gravures reproduisant l'oeuvre du peintre Maarten de Vos.
En 1912, la Société polymathique du Morbihan rachète le Château Gaillard et le confie à la municipalité vannetaise en 2000 afin de créer un musée d'histoire et d'archéologie qui permet la conservation et la présentation au public de ses collections.
