Le château de Gourdon a été construit en trois étapes.
De la forteresse sarrasine, construite au IXe siècle, subsistent l’aspect général du château, les trois tours rondes et la muraille nord.
Sur ces fondements, les comtes de Provence édifient une place forte au XIIe siècle : une grosse masse carrée, tenant avec ses dépendances toute la partie Ouest du village. Il y avait quatre tours aux angles qui ont été démolies en partie.
En 1598, Louis de Lombard rachète la seigneurie de Gourdon. Et Henri IV conforte en propriété pour très loyaux services, et exonère des droits fiscaux cet avocat à la cour qui, trouvant là un château, entreprend de le transformer. Le Gourdon d’aujourd’hui est bâti, avec son architecture en trapèze asymétrique.
La façade principale est transférée au Nord (on ne défend plus, on accueille), des arcades et un premier étage sont inspirés du parvis de la place des Vosges. Un second étage aussi, mais plus laborieux, plus pauvre. Le seigneur n’est pas riche et la pierre moins noble en témoigne. Les arcades et le premier étage datent de 1610, et le second étage de 1653.
Muraille infranchissable à l’Ouest, poste de guet vers le Sud et vers l’Est. Plus tard, trois tours et un donjon couronnent l’ensemble. L’œil au guet, l’arme au pied, Gourdon veille pour la France.
Pendant la Révolution, les sans-culottes abattent le donjon mais pour souligner le libéralisme d’un seigneur franc-maçon, se contente de réduire le dernier étage des tours. Deux ont été reconstruites, mais elles n’arrivent pas au faîte du corps de bâtiment. La base des tours est très ancienne, on y voit encore la capitale. La tour du Sud est démolie jusqu’à une hauteur de 2 à 3 m au-dessus du sol. La tour Nord a été remplacée par une tour carrée moderne. La façade, du côté du village, donne sur une petite place qui pourrait bien avoir été la cour du château si l’on en juge par les restes de vieux murs qui, avec les maisons, dépendances du château, la fermaient.
Cette façade est toute en pierres de taille, grisées par le temps. Une porte d’entrée style renaissance permet d’accéder à la cour intérieure pavée de larges dalles. L’intérieur de la cour est formé comme les impluvia romaines, avec une rigole centrale qui recueille toutes les eaux de pluie et les ramène ensuite à l’intérieur vers le puits qui se trouve vers la gauche et qui sert de réceptacle des eaux qui alimentaient le château. À l’intérieur de la cour, différentes dates sont mentionnées. Tout d’abord, sur une grande pierre au mur, on peut voir : « Louis de Lombard, seigneur de Gourdon a construit le château sur les ruines du vieux château détruit par le temps et les guerres civiles en 1610 ». Une autre pierre dans la cour porte la date 1611 et celle du portail du parc 1646. Dans la cour se trouve une très ancienne citerne en pierres.
Au-dessus de la porte, on peut observer une large pierre carrée où étaient probablement situées les armoiries du seigneur ainsi qu’une large fenêtre à meneaux. Cette fenêtre est la seule mises à part quelques fenêtres anciennes simples au dernier étage. À l’angle Sud-Est, une tour ronde comme aux angles Sud-Ouest et Nord-Est. Le bas en pente avec sa capitale est le restant d’une ancienne tour.
Le château, inclus dans le système défensif qui cernait le village, complète les épais et solides remparts encore visibles. Ce château provençal type comporte un corps de logis à deux étages surmontés d’une génoise, fermeture d'avant-toit formée de plusieurs rangs de tuiles canal en encorbellement et garnie de mortier.
Au sud s’étend une vaste terrasse plantée de tilleuls centenaires, ombrageant une pelouse ornée de massifs taillés en motifs circulaires. Le tout est bordé d’un parapet dont les angles forment deux balcons et une échauguette surplombant le Riou coulant 100 m au-dessous. Cette terrasse s’appuie sur une immense cave voûtée, soutenue par de massifs piliers, qui abrite une profonde citerne. Un escalier à double révolution conduit à une terrasse inférieure, maintenue par des arcs soutenus par de puissants contreforts. Il ne reste que deux tours datables de l’ancien système défensif l’une carrée à l’angle est de la terrasse supérieure, l’autre avec sa barbacane.
À l’ouest le jardin dessiné par Le Nôtre est prolongé par un parc entouré de murs, encore crénelés par endroits.
Le rez-de-chaussée et la chapelle accueillent un musée historique avec des armures anciennes, mobilier des XVIe et XVIIe siècles, des œuvres d’art d’un grand intérêt artistique. Au second étage, sept salles sont occupées par un musée de peintures naïves et contemporaines.
Un grand vestibule va de la cour intérieure à la terrasse du midi. Le vestibule est une salle du XIIe siècle, du point de vue architectural, avec les grandes voûtes rondes qui ont été ouvertes au XVIIe siècle.
Le jardin de l’Apothicaire a été réagencé vers 1970 par Tobie Loup de Viane. La bordure de buis suit le dessin d’une grecque inspirée des mosaïques antiques. Le paysagiste a regroupé contre la façade du château exposé au midi les simples que l’on trouvait dans les jardins du Moyen Âge. Au centre du jardin de l’apothicaire, un cadran solaire oblique.