Au cœur du château de Craigmillar se trouve la maison-tour du XIVe siècle, de plan en L, bâtie sur un affleurement rocheux. Le mur d'enceinte du XVe siècle l'entoure, avec ses rangées de bâtiments au sud-est, est et ouest. Au-delà du mur se trouve un second mur d'enceinte, plus bas, ceinturant une vaste cour extérieure incluant les jardins et une chapelle. D'autres jardins se trouvent au sud, où les contours d'une marre à poissons se discernent.
La tour de quatre étages constitue le donjon du château, bien qu'elle était le seul bâtiment à l'origine. Elle mesure 15,8 m par 11,6 m, avec une aile en saillie, ou jambage, de 8,5 m par 3,5 m au sud. Les murs mesurent jusqu'à 3,3 m d'épaisseur. Les second et quatrième étages ont des plafonds voûtés. La tour est construite au bord d'un affleurement rocheux, et la porte d'entrée d'origine était protégée par une fissure naturelle dans la roche. Au-dessus de cette fissure se trouvait un pont en bois, jusqu'à ce qu'il soit englobé dans la structure du mur d'enceinte. Au-dessus de la porte se trouvent les armoiries de la famille Preston. Un escalier conduit de l'entrée à une chambre de garde dans le jambage, où des meurtrières se trouvaient probablement afin de lancer des projectiles sur des attaquants parvenant jusqu'à l'entrée. Les celliers sont au rez-de-chaussée, et avaient auparavant un grenier en bois au dessus. Le mur de séparation et les portes de chaque côté furent ajoutés ultérieurement.
Le hall se trouve au second étage, une cuisine occupant la place du jambage, et des passages plus récents relient aux bâtiments est et ouest. Le hall a une grande cheminée en pierre taillée environ du XVe siècle, et avait auparavant un plafond en bois probablement peint. La cuisine fut remplacée par une plus grande dans les bâtiments est au XVIe siècle, et transformée en chambre. Une plus petite cheminée fut ajoutée dans l'âtre de la nouvelle cuisine, ainsi que de plus grandes fenêtres. L'étage suivant, accessible par un escalier en spirale, inclut une pièce sans fenêtres dans la voûte dessus du plafond du hall. Au-dessus de la cuisine se trouve la chambre du seigneur, la seule chambre privée d'origine dans le bâtiment. Les escaliers continuent pour donner accès au parapet autour du toit dallé en pierre. Un étage supplémentaire fut ajouté au jambage au XVIe siècle, contenant une seule chambre. L'extérieur du château avait auparavant deux balcons en bois, ou plateformes de vues, l'une donnant sur les jardins au sud et l'autre regardant à l'est en direction du paysage du Lothian.
Le mur d'enceinte de la moitié du XVe siècle a une épaisseur allant jusqu'à 1,8 m, et il entoure une cour d'environ 10 m de large. À l'extérieur, le mur d'enceinte mesure 40 m par 27 m. Des tours rondes se trouvent à chaque coin, avec une poterne, ou porte de côté, à la base de la tour sud-est. Les ouvertures pour les armes à feu avaient des formes de trous de serrure dans les tours, leur donnant un usage défensif autant que décoratif. L'entrée principale, avec un arc plein-cintre se trouve dans le mur nord. Au-dessus se trouvent les armoiries de la famille Preston, surmontées des armoiries royales d'Écosse. Les murs sont défendus par des mâchicoulis, c'est-à-dire des espaces permettant de faire tomber les projectiles sur les attaquants, et les accès aux remparts permettent d'utiliser l'ensemble du mur. À l'intérieur des murs, des traces de fenêtres suggèrent qu'il y avait autrefois une allée sud de bâtiments dans la cour. Il n'y a pas de puits dans la cour, mais une pierre creuse dans le mur d'enceinte permettant à l'eau d'être amenée dans le château.
La rangée ouest fut entièrement rebâtie par les Gilmour dans les années 1660 afin d'offrir un ensemble spacieux de logements modernes contevant à la position de John comme juge. Le rez-de-chaussée contient une grande pièce centrale, faisant office de salon et salle à manger, avec de grandes fenêtres et une cheminée en pierre taillée. La pièce aurait également eu des plafonds en plâtre et d'autres particularités décoratives. Au nord se trouvait une cuisine et une sud une chambre, avec une cave à vin au dessous. Le premier étage avait quatre chambres. Un nouvel escalier fut construit pour connecter les bâtiments ouest à la maison-tour. La porte vers la tour a un fronton classique au-dessus duquel se trouve une plaque du XXe siècle érigée par un descendant des Gilmour, arborant les armoiries de John Gilmour et de sa femme. La rangée ouest est à présent sans toit, l'étage intérieur est parti, et les grandes fenêtres condamnées.
La rangée est occupe les côtés est et sud-est de la cour intérieure. La rangée d'origine, bâtie au même moment que le mur d'enceinte, fut reconstruite au XVIe siècle et connectée à la maison-tour par un nouvel escalier large en spirale. Le bâtiment au sud-est est contigu à la maison tour, et contient deux chambres. Les celliers voûtés au-dessous étaient utilisés par une boulangerie et probablement par une prison ; il s'y trouvait également une poterne condamnée donnant accès à travers le mur d'enceinte. L'étage était occupé par une longue galerie dont n'ont survécu que les murs inférieurs. Un couloir connecte la tour aux vastes cuisines voûtées de la rangée est, qui sont également accessibles depuis un escalier droit de la cour. Une autre représentation des armoiries des Preston, soutenues par des singes, apparaissent au-dessus de la porte des bâtiments est.
Les murs d'enceinte extérieurs, datant du milieu du XVIe siècle, sont plus petits et moins imposants que ceux intérieurs, mais ils entourent une zone bien plus vaste. Une tour ronde au coin nord-est a des ouvertures pour les armes à feu et un pigeonnier à l'étage. La famille de la chapelle, dédiée à Saint Thomas Becket, fut construite vers 1520. En perdant son toit, elle est devenue une aile funéraire, toujours utilisée par la famille Gilmour. Les jardins occupaient les parties est et ouest de la cour, avec une terrasse ouest surplombée des larges fenêtres des bâtiments ouest. La grange au nord-ouest de la cour fut transformée en église presbytérienne, pour le village de Liberton, en 1687. Au sud du château se trouvaient des jardins au style plus libres et des vergers, avec les bases de tours d'observation du XVIe siècle aux coins de cet enclos en pierre sèche. L'ancienne mare aux poissons, en forme de P pour Preston, est une caractéristique archéologique d'importance nationale pour un jardin en raison de sa rareté. Dans les années 1820, un plan proposait de mettre en place des jardins paysagers entre Inch House et le château, qui aurait incorporé « l'arbre de la reine Marie », un sycomore supposé planté par Marie. La plus grande partie des bois dans le domaine du château date du début au milieu du XIXe siècle.