De la forteresse médiévale des Orgemont ne subsiste que la base des tours. C'est donc Le Petit Château du connétable de Montmorency, construit en 1551, qui constitue aujourd'hui la partie la plus ancienne du château.
Le Petit Château comprend, au premier étage, les grands appartements. Ceux-ci comprennent trois salles décorées au XIXe siècle (dont l'antichambre et la salle des gardes), élevées sur l'ancien bras d'eau qui séparait le Petit Château du Grand Château, ainsi que l'appartement des princes de Condé décoré vers 1720 par Jean Aubert de superbes lambris (comprenant la chambre de Monsieur le Duc, le cabinet d'angle, le boudoir décoré d'une grande "singerie" de Christophe Huet, "la Galerie des Actions de Monsieur le Prince", et le salon de Musique).
Le château du duc d'Aumale « qu'on représente aujourd'hui comme une merveille, est un des plus tristes spécimens de l'architecture de notre époque : on y entre par le deuxième étage et l'on y descend dans les salons » (Boni de Castellane).
C'est un bâtiment tout en longueur adossé à la forêt et situé de l'autre côté du grand degré vis-à-vis du château. Construit en 1769 par l'architecte Jean-François Leroy, il a pour fonction originel de loger les invités des princes. Il doit son nom à Louis Antoine de Bourbon-Condé, Duc d'Enghien, fils du dernier prince de Condé, qui fut logé avec ses nourrices dans le bâtiment après sa naissance en 1772.
Il est composé d'une succession de 4 logements accolés marqués par 4 entrées propres surmontées chacune d'un petit fronton triangulaire le tout couronné d'une balustrade, qui sont de nos jours les logements de fonction de la conservatrice du Musée Condé, et des trois académiciens membres du collège des conservateurs (actuellement Pierre-Jean Rémy de l'Académie française, qui remplace Alain Decaux, Yves Boiret de l'Académie des beaux-arts, Jean-François Jarrige de l'Académie des Inscriptions et Belles-Lettres).
Le jeu de paume est construit à partir de 1756. Les décorations sculptées sur la façade sont confiées Henri-Nicolas Cousinet. C'est l'un des premiers bâtiments construits spécifiquement pour ce jeu. Il est inauguré le 26 octobre 1757. Il comprend la salle de jeu proprement dite et dans l'entrée « la Dépouille », où les joueurs se changent et se préparent. En 1758, le jeu de paume est agrémenté d'une terrasse, d'un mur de soutien et d'un escalier.
Le bâtiment est transformé en salle d'exposition pour des œuvres de grand format au XIXe siècle. Visitable, il accueille aujourd'hui une maquette représentant le château et son parc au XVIIe siècle.
Cette maison est construite au fond du parc du même nom en 1604 par Henri Ier de Montmorency. Ce bâtiment accueille en 1623 le poète Théophile de Viau protégé par Henri II de Montmorency. Sa femme Marie-Félicie des Ursins vient régulièrement le visiter et c'est lui qui la surnomme Sylvie. Ce nom reste attaché au bâtiment et à cette partie du parc.
Il est reconstruit par Henri Jules de Bourbon-Condé, le fils du Grand Condé et à nouveau transformé par Henri d'Orléans vers 1880-1895, qui y adjoint une rotonde polygonale. Bien que n'ayant jamais servi de relais de chasse, il est pourtant décoré, toujours au XIXe siècle, de boiseries du XVIIIe siècle, de peintures et de tentures en lien avec la vénerie. Le bâtiment ne se visite pas en dehors d'événements privés.
Les Grandes Écuries ont été construites par l'architecte Jean Aubert entre 1719 et 1740. Longues de 186 mètres, elles sont exceptionnelles par leurs dimensions tout comme par leur magnificence.
Le prince de Condé en était si fier qu'il n'hésitait pas à recevoir à dîner sous la majestueuse coupole, haute de 28 mètres, où soupèrent notamment Louis XV, le futur Tsar Paul Ier et Frédéric II de Prusse.
Les écuries pouvaient abriter 240 chevaux et 500 chiens, utilisés pour les chasses quotidiennes dans la forêt de Chantilly.
En 1982, le Musée vivant du cheval y a été installé par Yves Bienaimé.
En 2006, les écuries ont été réunies au château par son Altesse Karim Aga Khan IV dans le cadre de la Fondation pour la Sauvegarde du domaine de Chantilly.