Le site de Chevré est un petit bourg castral bien conservé. L'ensemble fortifié actuel est composé de deux parties principales : une motte castrale créée probablement vers 1159-1160, surmontée des vestiges d'un donjon circulaire construit vers 1225-1234 et entourée d'un large fossé sec, une basse-cour située à l'est de la motte.
La chapelle castrale située tout près a dû être fondée peu après le château, probablement dans le dernier quart du XII siècle. De cette époque date la façade-pignon et une partie des murs (qui ont été remaniés ultérieurement, notamment au XVI siècle).
Le bourg castral s'est développé très tôt autour de la fortification, avec la création de l'étang de Chevré. Le pont qui le franchit est dans son état d'origine, qui semble être celui du XIII siècle.
La chapelle, le pont et l'ensemble fortifié comprenant la motte castrale et son donjon, le fossé et la basse-cour, font l'objet d'une inscription au titre des monuments historiques depuis le 21 novembre 1995.