Ce petit village du Berry acquit le titre de Cité en 1300. La paroisse dépendait de l'archevêché de Bourges.
La seigneurie de Sarzay appartenait à la famille de Barbançois depuis le milieu du XIV siècle. C'est une famille de chevaliers dont les fils s'illustrèrent dans les batailles de la guerre de Cent Ans. Cette famille construisit le château et en resta propriétaire jusqu'en 1720 ; cette seigneurie fut érigée en marquisat en 1651.
Au départ, il s'agit d'un motte castrale entourée d'un fossé et défendue par une enceinte dont il ne reste plus qu'une tour-chapelle. En 1360, le seigneur de Sarzay, Guillaume de Barbançois, bouta les Anglais hors de la ville de La Châtre, avant de piller la ville pour son propre compte. Sarzay était à la limite du royaume de France, face aux Poitou, Limousin et Aquitaine, possessions anglaises. Vers 1440, Jean de Barbançois construisit un corps de logis flanqué de cinq tours, dont une desservant les étages. Les tours sont couronnées de mâchicoulis. Il contint l'invasion anglaise. Sorti intact de la guerre de Cent Ans, des guerres de religion, de la Fronde, de la Révolution.
Pour la petite histoire, en 1538, dans un duel judiciaire, Hélion de Barbançois, agé de 70 ans tua François de Saint-Julien, sous l'œil étonné de François I.
