Marie Dubrueil (1855-1938) était la fille aînée de Jean François "Ferdinand" Dubrueil (1818-1884), receveur des finances très fortuné, et de Louise Cousin. Elle était originaire de l'Aveyron (Morlhon-le-Haut), tandis que son mari, Raymond de Butler (Paris 1839-Morlhon-le-Haut 1907), était le sixième enfant du vicomte Pantaléon de Butler (1781-1842) et de Pauline de Verteuil. Il était d'une vieille famille irlandaise qui avait fuit les persécutions anglaises contre les catholiques à l'époque de Cromwell et fait souche en France au milieu du XVII siècle.
Ils décident de s'installer et font construire un château où ils élèveront tous leurs enfants.
Raymond était général de cavalerie, commandeur de la légion d'honneur et avait plusieurs frères, tous militaires :
- Pierre de Butler, officier
- Léon de Butler (1824-1913), capitaine au long cours,
- Patrice de Butler (1828-1890), enseigne de vaisseau,
- Enguerrand de Butler (1830-1913), officier de marine et de la légion d'honneur, chargé du service des pompiers de Lorient
- Gaston de Butler (1832-1852), aspirant, tué à 20 ans
- Maurice de Butler (1840), père d'un autre Enguerrand de Butler (1886-1914), officier de la légion d'honneur, mort pour la France.
Ils ont eu sept enfants, qu'ils ont élevés à Kermaria, dont quatre garçons officiers:
- Gaston de Butler (1881-1972) , commandeur de la légion d'honneur, marié à Germaine, soeur de la géologue Yvonne Boisse de Black 1892-1989, et père de treize enfants, dont Richard de Butler (1913-1982), général, commandeur de la légion d'honneur.
- Maurice de Butler (1885-1914), officier, mort pour la France, père de Patrice de Butler (1912-1948), officier, mort pour la France, et d'Elisabeth de Butler mariée à Jehan de Frayssinet (1903-1958), lieutenant-colonel d'aviation.
- Yves de Butler (1891-1978), officier de la légion d'honneur, croix de guerre,
- Jean de Butler (1893-1982), général, commandeur de la légion d'honneur,croix de guerre.
