Le moulin à blé de Boussac date du XIV siècle ou avant, car il en est fait mention le 14 mars 1426 comme étant en ruine pour cause de guerre depuis plus de 30 ans. Et un logis existait : en 1500 y habite Pierre Raffard sieur de Boussac puis plus tard Benjamin de Lestang
En 1692 Jean et Jacques Perrin, associés dans un commerce d'eaux de vie et propriétaires de l'Hotel Perrin, rue Saulnier à Cognac achètent le domaine de Boussac. Vers 1695, après le partage de leurs biens Jacques Perrin fait construire le logis et prend le nom de Perrin de Boussac. Le pigeonnier carré sur étage, couvert de tuiles plates à droite de la grille d'entrée, date du XVIII siècle.
En 1786 il est donné l'autorisation d'une papeterie qui est construite en 1788 avec machine à papier, pièce de séchage et logements d'ouvriers. De l'autre côté de la route existe toujours un bâtiment avec logement du contremaître au rez-de-chaussée et séchoirs à papier à l'étage. On note deux ouvertures pour pigeons dans le mur. Le moulin à papier a fonctionné jusqu'en 1827.
Le logis de Boussac est inscrit aux Monuments historiques depuis 1987.
Le logis, propriété privée, se visite du 1er mai au 31 octobre les week-end et jours fériés ou sur rendez-vous.