Dès 1270, des chartes mentionnent le nom d'Hélie Rabaine, seigneur de Pisany. Probablement élevé un siècle plus tôt à l'emplacement d'une ancienne motte féodale, le château-fort de Pisany est durant plusieurs siècles une place stratégique contrôlée par la famille de Rabaine. Au XV siècle, elle devient la propriété du président du parlement de Bordeaux Arnauld de Tourettes, frère de l'abbé de Sablonceaux Guy de Tourettes. Celui-ci entame une campagne de travaux visant à moderniser l'ancienne forteresse médiévale.
À sa mort, il lègue la propriété à son neveu Arthus de Vivonne. De l'union de ce dernier avec Catherine de Brémond naît vers 1530 Jean de Vivonne, appelé à devenir plus tard marquis de Pisany (1586), sénéchal de Saintonge, ambassadeur de France à Madrid puis à Rome, chevalier de l'ordre du Saint-Esprit et maréchal de France. En marge de sa carrière politique et diplomatique, il fait fortifier le bourg et modernise le château.
Sa fille Catherine de Rambouillet et sa petite-fille Julie d'Angennes, duchesse de Montausier sont des femmes de lettre influentes au XVII siècle.
Au siècle suivant, le château est vendu à plusieurs reprises, d'abord à Charles-Auguste Bessier, conseiller du Roi (1737) puis à Jean-Charles de Senecterre (1748). Le château, peu entretenu, est endommagé par la tempête de 1784, puis de nouveau durant la période révolutionnaire. Vendu comme bien national, il est alors partiellement ruiné.