C'est une co-seigneurie, avec deux châteaux construits dans la même enceinte, le château Saint-Hilaire dès le XIIIe siècle, le château de Plas actuel deux siècles plus tard
Le nom Plas existait dans la paroisse de Lostanges dès le XI siècle, au siècle suivant on trouve un Guillaume Plas (moine), un Pierre Plas (prieur), un autre Pierre Plas (dominicain à Brive), etc.
La demeure fut probablement construite à l'initiative de Jean de Plas vers les années 1543-1547, il fut ambassadeur de Louis XII et de François I en Écosse, il était docteur en droit canonique à la Sorbonne. Pour ses bons services, le roi le nomma à l'évêché de Périgueux. Dans une salle du château, on peut lire l'inscription suivante : « ung Dieu, ung Roy, une Foy, une Loy » ce qui était la devise des royalistes et des catholiques de l'époque.