À sa construction vers 1723, le château était constitué d’un grand corps de logis flanqué de deux pavillons latéraux aux toits légèrement surélevés. Au centre se trouvait un embryon de pavillon légèrement en saillie surmonté d’un fronton triangulaire qui ne dépassait pas la hauteur des lucarnes du corps de logis. Celui-ci était relié aux bâtiments de service.
Lors de la rénovation du château après la Révolution française, le château est séparé des communs, les pavillons central et oriental sont encastrés de pilastres de granit gris-bleu de Lanhélin et le pavillon central est surmonté d’un nouveau fronton de pierre blanche où est gravé le blason de la famille des Caradeuc accolé à celui des Martel (épouse de Raoul Caradeuc de la Chalotais) ainsi que la devise des Caradeuc : « Arreste ton cœur ». Le péristyle d’entrée est édifié mais le pavillon occidental est laissé en mauvais état.
L’architecture actuelle du château date de la fin du XIXe siècle. Sous la direction de l’architecte Mellet, les toitures des pavillons sont rehaussées — le pavillon ouest a entre temps été supprimé — afin de leur donner un aspect à la Mansart, les lucarnes de pierre blanche sont remplacée par de nouvelles en granit de Kérinan. Les anciennes colonnes du péristyle sont supprimées ; il est actuellement constitué de deux paires de colonnes jumelées surmontées d’une balustrade en pierre. Sur la façade nord, un imposant escalier à double révolution mène à deux terrasses munies de balustrades courant au long du corps de logis.
La conception de l’arrivée depuis la route posa des difficultés à Édouard André en raison d’une différence de niveau de 8 mètres entre le château et la voie publique. Il résolut la question en créant un hémicycle de 20 mètres de rayon au centre duquel il installa une conciergerie inspirée de celle du parc de Bagatelle encadrée de deux grilles d’entrée importées du parc de l’ancien puits artésien de Grenelle à Paris et reliées à ce bâtiment par des balustrades de granit.
Des grilles, l’accès à l’allée d’arrivée se fait par deux rampes en forme de fer à cheval. Celle-ci commence au pied d’une statue de Philémon abritée sous une voute de charmes. Elle passe ensuite entre deux lions en fonte campés sur des stèles de granit, puis entre deux rangées d’ifs taillés semblables à ceux des parterres, puis entre deux colonnes de granit surmontées de vases de pierre, puis traverse un rond-point où se trouvent deux lampadaires.
Les parterres à la française sont habituellement situés à l’arrière de la demeure mais à Caradeuc la forte pente du versant nord ne le permettait pas. Édouard André décida donc de les créer de part et d’autre de l’allée d’arrivée. La partie sud des parterres est délimitée par des douves en quart de cercle bordées à l’extérieur par des bornes de granit reliées entre elles par des chaînes et à l’intérieur par des balustrades se prolongeant sur les côtés est et ouest.
Les parterres eux-mêmes sont divisés en quatre compartiments par une allée transversale. Les deux plus petits contiennent un vase en leur milieu tandis que les grands compartiments plus proches de du château sont agrémentés d’un miroir Louis XIV (bassin).
Le parterre de Diane, aussi appelé le « tapis vert » est la pièce principale de l’aménagement d’André. Dessiné à l’emplacement de l’ancien jardin potager, il a une forme de lyre qui allonge la perspective et semble ainsi éloigner la statue de Diane chasseresse qui domine le parterre du haut d’une terrasse hémicyclique flanquée de deux larges escaliers de 13 marches. Derrière elle se trouve un banc provenant du parc du château de la Muette à Paris. Au milieu du parterre, deux niches sont taillées de part et d’autre dans la haie de charmilles. Elles abritent un faune et une nymphe sous des porches provenant du château de la Costardais.
Entre la demeure et le tapis vert, une statue en marbre de Carrare de Louis-René Caradeuc de la Chalotais a été inaugurée en 2001 afin de commémorer le tricentenaire de sa naissance. Elle a été sculptée par Chamming’s. Au-delà de la statue, un petit escalier entouré des deux côtés par des statues de lions allongés permet d’accéder au parterre de Diane.
Le rond-point des empereurs est relié au parterre de Diane par un boulingrin en creux marqué par des ifs pyramidaux situé derrière la statue de Diane chasseresse. Huit niches logeant chacune un buste en marbre de Carrare d’empereur ou d’impératrice romaine séparées par des bancs en granit sont découpées dans une haie épaisse de laurier du Portugal. Une large vasque provenant de la prison de la route de Fougères à Rennes est placée au centre du rond-point. Vers le sud, une courte allée permet de rejoindre l’allée de Falloux en passant sous l’ancien portail du parc remplacé en 1898 et orné du C des Caradeuc.
Vestige du parc de Lhérault, l’allée de Saint-Méen se trouve dans le prolongement du parterre de Diane et du rond-point des empereurs. Elle aussi en forme de lyre, elle est plantée de platanes. Cette perspective est fermée à l’ouest par une haie de lauriers et un petit kiosque afin de masquer la rupture de pente.
Commençant au milieu du jardin français devant la maison, l’allée de Falloux s’étire vers l’ouest sur 400 mètres. Au niveau du rond-point des empereurs, dans une ancienne lucarne du château, se trouve une statue de provenance locale représentant Jeanne d’Arc coiffée de la mitre des relapses. À son sommet, André a installé un monument circulaire constitué à la base par quatre bancs en quart de cercle séparés par des bacs à fleurs et sert d’assise à un cône de terre surmonté d’un lanternon de pierre blanche. Il sert à masquer la rupture de pente de l’allée qui redescend de l’autre côté et se termine par un monument servant de tribune à une statue de fonte de Falloux, réplique de celle érigée à Segré.
Parallèlement à l’allée de Falloux mais de l’autre côté du parterre de Diane chasseresse une troisième allée part de la terrasse nord vers l’ouest. En haut de la pente se dresse une tholos contenant une statue de bois représentant Zéphyr. Au niveau du rond-point des empereurs, le monument de l’enfant chasseur s’élève. Cette sculpture de pierre reconstituée est enchâssée dans une lucarne Renaissance provenant du château de la Costardais. Au bout de l’allée, il y a un banc semi-circulaire dont le dossier est surmonté de deux vases en fonte.
Parallèlement à la construction de l’escalier nord par Mellet, André a dessiné une terrasse. Vaste terre-plein bordé par des chaînes soutenues par des bornes en granit tendues entre deux sphinges placées aux extrémités du terre-plein. Au milieu de la terrasse se trouve une statue de Pan jouant de la flûte.
La prairie en contrebas est encastrée de hautes futaies et l’étang situé au pied de la colline permet d’apprécier la hauteur de la dénivellation.
En vis-à-vis de l’allée de Zéphyr se trouve l’allée de Louis XVI. En 1950, Alain de Kernier (1896-1959) obtient le prêt par la mairie de Rennes d’une statue du roi Louis XVI et la place au bout de cette courte allée à la place d’une statue de Baucis. Cette statue, commandée en 1826 par la mairie pour être placée dans la niche de l’hôtel de ville avait été achevé après la Révolution de 1830 et reléguée au musée des Beaux-arts de Rennes durant 120 ans. Raymond Cornon, architecte des Monuments historiques, a créé le cadre surmonté de balustres qui met en valeur la taille de la statue royale.
Le rond-point de Bécherel a été créé par de Wailly en 1950. Il permet de relier l’allée de Bécherel et l’allée de Louis XVI située en contrebas. Une autre allée mène jusqu’aux parterres français. C’est dans ce rond-point que la statue de Baucis fut relogée après l’installation de celle de Louis XVI. L’allée de Bécherel, longue de 700 mètres, mène à une Vierge de Lourdes surmontant une grotte artificielle installée là par l’épouse de Falloux, Marie de Caradeuc.
Relique des bois qui avant couvraient la colline, le massif du mont Affilain est constituée de deux sommets boisés en vis-à-vis. Ils ont été replantés suite à la tempête et une colonne surmontée d’une sphère armillaire a été installée sur le point culminant du parc.