Il existait un château à Gœulzin dès la fin du XIIIe siècle. Incendié sous Philippe le Bel, il fut rebâti par Enguerrand de Gœulzin. Sa première mention écrite date de 1310. Le manoir seigneurial se situait alors sur une large terrasse dominant un bas fond marécageux à 33 m d’altitude. La plate-forme était de forme rectangulaire de 20 m de côté par 40 m et bordée par de larges douves de 10 à 15 m de largeur.
À l’ouest, existait un grand enclos trapézoïdal de 110 m par 80 m, entouré de fossés et occupé par divers bâtiments de ferme et des espaces découverts (près et jardins). Il s’agit de la basse-cour de la maison-forte seigneuriale aujourd’hui occupée par des bâtiments des XVIIIe et XIXe siècles. Un système de dérivation des eaux de la Sensée permettait d’alimenter les douves entourant le château et sa basse-cour qui se trouvaient ainsi isolés, de même que le parc. Il se complétait d’un réseau d’irrigation pour les terres situées au sud du château qui existait déjà au début du XIXe siècle, mais dont l’existence était probablement bien antérieure.
La majeure partie du village, avec le château et le clocher, dépendait du seigneur d’Oisy. Le village est brûlé à deux reprises au XVIe siècle, en 1521 et en 1582. Le château subit alors de graves dommages, avec des campagnes de reconstruction comme le confirme les deux inscriptions de la tour d’angle sud-est datant celle-ci de 1576. Au siècle suivant, la seigneurie passe aux mains des comtes de Bucquoy de la maison de Longueval. Le château fut reconstruit au début du XVIIe siècle sur les soubassements en grès de l’ancien manoir par Charles-Albert de Longueval, comte de Bucquoy, grand bailli du Hainaut et gouverneur de Valenciennes. Des constructions antérieures ne subsistèrent plus alors que ce haut soubassement taluté percé d’archères et de bouches à feu et certainement les tours.
Les nouveaux bâtiments furent construits en brique et pierre : briques rouges pour les murs avec pierres blanches en chaînages et encadrements et pignons à pas-de-moineaux de style flamand. Le parc fut réaménagé, mais il s’agissait probablement d’un espace boisé sans recherche particulière plus proche d’un parc de chasse que d’un parc d’agrément. La seigneurie échoit à la famille de Pronville qui la céda au milieu du XVIIIe siècle à Pierre Taffin, procureur général du Conseil provincial du Hainaut et administrateur des mines de charbon d’Anzin. Son quatorzième enfant, Jean-Charles-Louis Taffin, entreprit en 1763 (date portée sur le linteau de la tour) la construction d’une tour constituée d’une glacière et d’un colombier à proximité des dépendances du château ainsi que la reconstruction de l’église en 1771. Cette tour est d’une conception fort originale combinant deux fonctions sans lien entre elles. Elle a été inscrite à l’Inventaire supplémentaire des monuments historiques par arrêté du 3 décembre 2002. À partir du milieu du XIXe siècle, elle perdit sa raison d’être avec l’invention de la fabrication de la glace industrielle ; elle fut alors abandonnée et perdit sa toiture. De cette époque de travaux (années 1760-1770), datent également certaines transformations du bâtiment principal comme la création d’un balcon filant à la hauteur du rez-de-chaussée de la façade méridionale de l’aile sud avec son balcon de fer forgé, la création de portes-fenêtres permettant d’y accéder et de larges fenêtres cintrées dans le soubassement au-dessous.
Tout au long du XIXe siècle, le réseau hydraulique ceinturant le château fut amélioré. L’irrigation des terrains situés au sud du château reçut sous le Premier Empire (avant 1812) un important développement et une régularisation. Une modernisation du château fut réalisée probablement sous le Second Empire par Louis Taffin d’Heursel. Il fit installer sur la cour une galerie dont il ne subsiste rien aujourd’hui, de style néogothique flamboyant, provenant d’un couvent de Metz, ainsi qu’une niche d’angle abritant une statue sur culot accrochée au pignon ouest avec un dais surmonté d’un immense pinacle (traces d’arrachement des éléments encore visibles). C’est certainement à cette époque que fut construite la terrasse avec le perron qui y mène et que les fenêtres situées au-dessus furent régularisées. Avant 1866, un grand parc fut également aménagé avec une pièce d’eau alimentée par la Sensée, entourant des îles reliées par des ponts. La partie paysagère de ce parc, c’est-à-dire les îles et la grande pièce d’eau, a été gagné sur le système d’irrigation et une partie des terrains qu’il desservait. La réfection des maçonneries des piédroits des fossés au sud des communs date probablement de cette période de travaux. À la mort de Louis Taffin, les collections du château furent vendues aux enchères publiques.
Georges Lambrecht, maire de Gœulzin de 1908 à 1912, habita le château après le départ de sa tante, épouse de Louis Taffin. Pendant la Grande Guerre, le château fut occupé par les troupes allemandes, pillé et laissé à l’abandon. Son état de ruine date de cette époque. Après la guerre semble-t-il, les douves furent asséchées sur les trois côtés du château et le bras nord bordant les communs fut comblé après le pont d’accès nord. Les communs eux-mêmes furent séparés en deux propriétés distinctes. Depuis l’achat du château et d’une partie des communs par les propriétaires actuels, un important travail de nettoyage des maçonneries par enlèvement des végétaux — arbres, arbustes et lierre notamment — a été réalisé afin de prévenir de plus fortes dégradations.