Des ruines du donjon circulaire qui constituait le château primitif subsistent près de l'étang.
Le château de Gorce actuel date de la fin du Moyen-Age. Les bâtiments forment un U composé du châtelet d'entrée qui communique avec le logis par un pont volant et d'un bâtiment de commun attenant et, de part et d'autre d'une cour ouverte, des communs dont l'aile sud est cantonnée, aux extrémités, d'une tour de section carrée.Le donjon, couronné de machicoulis est flanqué de tourelles en encorbellement. Les rainures correspondant au pont-levis y sont encore visibles ainsi que sur le logis.
Le logis est flanqué d'une tour ronde coiffée d'une poivrière et d'une tourelle d'escalier polygonale. La porte est ornée de pilastres de style renaissance et le linteau est marqué d'un écusson parfaitement conservé.
Une partie des communs remonte au XVII siècle avec la date de 1654 sur une poutre.