Les archives montrent une occupation antérieure au XV siècle. Un château y a été construit à la fin du XVI siècle par la famille de Kerfloux et passa ensuite à la famille Drouallen dont l'un des membres, participa comme officier à la prise de Rio de Janeiro sous le commandement de Duguay-Trouin. Le Manoir est transformé notablement au XVIII siècle par les comtes de Rosmorduc issus de la maison le Gentil, famille d'ancienne extraction chevaleresque de Cornouaille, qui en héritèrent : adjonction d'un étage au corps principal, agrandissement des fenêtres, réfection de la toiture et création d'un parc à l'anglaise.
Le château est saisi en 1793 par le tribunal révolutionnaire de Quimper et est revendu. Son propriétaire était alors le Comte Louis de Rosmorduc, général de l'Armée Catholique et Royale, chef chouan dans la région de Vitré. Il est alors occupé successivement par Louis Derrien, par Edouard Le Normant des Varennes, architecte et neveu du précédent, par Alour Arnoult en 1847 qui rénove de façon importante la décoration intérieure, en fin par la famille Astor. Son membre le plus connu reste Joseph Astor, (1778-1848), maire de Quimper et surtout son fils et homonyme, Joseph II, sénateur-maire de Quimper et créateur du musée des Beaux-Arts de cette ville : il commence alors à réunir à Kerazan une riche collection de peintures, dont l'enrichissement est poursuivi par son fils. Joseph Georges Astor acquiert des faïences quimpéroises qui constituent aujourd'hui un ensemble unique (dont le violoncelle). Sans descendance, il lègue à l'Institut de France la totalité du manoir et des collections pour l'ouvrir au public en créant une fondation à son nom (comportant également une école de broderie). La première ouverture a lieu dès 1932.
