Origines : famille d'Arcy
En 1189 apparaît dans une charte le nom de Jean d'Arcy, sire de Pisy.
En 1235, Guy d'Arcy obtient de son suzerain Anséric de Montréal l'autorisation de bâtir une maison-forte à Pisy . Ses successeurs sont Jean II et Jean III d'Arcy, fils et petit-fils de Guy y résident dans la seconde moitié du XIII siècle. A la fin du siècle, la liste des seigneurs devient confuse. Sont cités Milon, Guillaume, Jeanne et Reine d'Arcy.
La fortification : familles de Grancey et de Montot
Guillaume de Grancey, lieutenant du duc de Bourgogne à Dijon , devient seigneur de Pisy à cause de sa femme Jeanne d'Arcy .
La seigneurie échoit en 1370 à Guy de Grancey, gouverneur de Bourgogne .
En 1373, celui-ci obtient des subsides de Marguerite de Flandre, duchesse de Bourgogne, pour faire restaurer la maison-forte .
En 1410, le domaine appartenait à Milon de Grancey, (évêque d'Autun de 1401 à 1414 . Le 12 novembre 1412, celui-ci en fit la donation, avec sa seigneurie et toutes ses dépendances en faveur de Pierre de Montot, seigneur de Saint-Phal (Champagne) . Les ducs de Bourgogne lui confièrent plusieurs missions importante pendant la querelles des Amagnacs et Bourguignons .
La reconstruction : familles de Surienne et de Ragny
En 1450, François de Surienne, dit L'Aragonais ou Polyorcète (« preneur de villes »), chambellan du duc de Bourgogne, en fait l'acquisition de Louis de Chalon, seigneur d'Arquel . Sa fille Jeanne de Surienne épouse Claude de Ragny.
C'est à Eudes de Ragny que l'on doit la reconstruction du château en 1480 . Il obtint alors de Louis XI la tenue de quatre foires annuelles à Pisy (1482) ; le fief de Pisy relevait alors du « donjon de Semur », c'est-à-dire directement du roi de France, et ce depuis 1477, date du retour à la Couronne de l'apanage bourguignon .
La ferme : familles diverses
Au cours des guerres de religion, les combats font rage dans la région. En 1590, les ligueurs parviennent à s'emparer de Pisy, d'où ils ravagent et pillent la région. Mais François de la Magdelaine, marquis de Ragny, le reprend quelques mois plus tard. De cet épisode datent les traces d'incendie sur la porte du château (il faut toutefois être très prudent sur cette anecdote, en effet, la porte est neuve dans le "Procès verbal de visite de l'état actuel du château de Pisy... le 06 aout 1802" et dans celui de 1781, il y a un pont-levis!).
Au XVI siècle, la seigneurie appartenait à la famille Aux-Épaules, d'origine normande. En 1580, elle était pour moitié dans les mains de François Aux-Épaules, seigneur de Sainte-Marie-du-Mont, à cause de sa femme Gabrielle de Laval, dame de Pisy, marquise de Nesles, dont il prit le nom et les armes, brisées d'une fleur de lys en cœur . L'une de ses filles, Claudine, hérita de Pisy, le transmit dans la famille des Brulart de Genlis par son mariage avec Gilles Brulart, seigneur de Genlis.
René Brulart de Genlis (+1696), marquis de Genlis, ne réside pas non plus à Pisy, dont il posséde la moitié, puis les trois-quarts. Il racheta la quatième part du fief en 1646 à son cousin René de Laval.
C'est sa petite-nièce Marie-Anne Claude Brulart (+ 1750), fille de Claude Brulart (+ 1673), qui hérite de Pisy et le porte dans la famille d'Harcourt par son mariage en 1687 avec Henri d'Harcourt, marquis de Beuvron . Elle ne semblait pourtant pas descendre des Aux-Épaules.
En 1779, Anne Pierre d'Harcourt, pair de France et chevalier de l'ordre du Saint-Esprit, vend le domaine à Antoine-Louis-Marie Destiennot de Vassy, sa famille s'en sépare en 1794 pour un groupe de spéculateurs qui le revendent à Jacques-Emmanuel Laugier en 1795, ce dernier gardera le château (avec celui de Vassy) jusqu'à son décès en 1820.
Transformé en bâtiment agricole depuis au moins le début du XVIII siècle, cette utilisation pour des raisons économiques, même si elle peut choquer aujourd'hui (2010), l'a sauvé d'une destruction certaine. Son état exceptionnel de conservation, tout en étant délabré, est dû au manque d'intérêt de ses différents seigneurs et propriétaires à le faire évoluer en habitation digne de ce nom.
Il est à noter que ce lieu n'a jamais été une ferme fortifiée, mais un château-fort transformé en ferme.
