Le terme château est galvaudé, c’est en fait un gros manoir de style néo-médiéval caractéristique des grandes maisons de villégiature de la fin du XIX siècle sur la Côte de granit rose.
L’édifice, à volumétrie complexe issue de plusieurs agrandissements, est réalisé en granit rose issu des carrières de La Clarté, quartier de Perros-Guirec. Le toit est en ardoise.
Son aménagement intérieur aurait été conçu avec le bois de récupération d' un bateau échoué.
Celui-ci a été édifié sur un îlot acheté par Bruno Abakanowicz (appelé aussi Bruno Abdank), ingénieur et mathématicien d'origine polonaise à la fin de l’été 1892 au douanier René Le Brozec, un Perrosien qui y cultivait des pommes de terre et faisait sécher du lichen et du poisson. La transaction de l’époque fût de 0,25 franc le mètre carré. Il a été achevé vers 1896 par l'ingénieur Lanmoniez et l'entrepreneur lannionnais Pierre Le Tensorer.
Après 1900, date du décès du propriétaire, sa fille, Sofia Abakanowicz, devenue madame Poray, fait agrandir la villa d'une aile à l’ouest en retour sur la façade postérieure.
Durant la Seconde Guerre mondiale, la villa est réquisitionnée par l'armée allemande, et subit quelques dommages intérieurs.
Le 6 septembre 1990, un incendie détruit en partie l'intérieur de l'édifice.
L'image de ce château sur son îlot est souvent utilisée pour illustrer cartes postales et guides touristiques de la Côte de granit rose, des Côtes-d'Armor et de la Bretagne.
