Le bâtiment principal est un double donjon : en effet, un donjon rond forme un des angles du puissant donjon carré. Les deux parties sont indépendantes. Le donjon carré s'articule autour d'une cour intérieure couverte au XIX siècle par une verrière. L'enceinte fortifiée comportait sept tours, dont six sont toujours debout aujourd'hui. Le château comprend également un jardin-potager du XVI siècle, lui aussi classé Monument Historique, et le musée des mines d'argent du canton de Pontgibaud.
Château-Dauphin a été classé monument historique sur liste de 1889, puis déclassé le 13 août 1889, inscrit le 19 janvier 1926, puis les 12 février 1987 et 7 février 1994 et ces arrêtés étant annulées a été classé le 20 octobre 1995. Ce classement concerne le château et ses six tours d'enceinte, ses communs, ainsi que le sol, le puits et la fontaine et le jardin potager.