Le château est entouré de douves et l'accès se fait par le châtelet d'entrée et le pont-levis. La tour Henri IV est l'ancien donjon . Le logis un édifice à plan en L qui est une exceptionnelle maison à chemises c'est-à-dire présente sur trois faces, des murs extérieurs doublés d'un second mur de même épaisseur séparés par un couloir de circulation sur lequel ouvrent les deux chambres que comporte l'édifice à chaque étage. L'édifice qui a conservé ses fenêtres à meneaux est flanqué à un angle par la tour d'escalier. Le mur de la galerie a été orné au XVI siècle, de fresques illustrant l'œuvre poétique de Henri Baude.
Il s'y ajoute les communs, avec la remarquable galerie des cuisines ajourée d'arcades en plein cintre qui dessert les pièces de service au sud-est de la cour. La cuisine elle aussi n'a pas été modifiée et a conservé ses cheminées et ses voutes. Il s'y ajoute aussi la porterie, la tour de Riom du XV siècle, remarquable par son hourd de bois et ses bardeaux de châtaignier en parfait état de conservation et la tour de la prison qui a conservé au dernier étage un ancien oratoire voûté en coupole, décoré de peintures murales.
Une élégante chapelle de style gothique édifiée en 1858 dans la cour du château sert de sépulture familiale. Auparavant, à cet emplacement, l'église paroissiale de Busset occupait tout le centre de la cour intérieure qu'elle séparait en deux parties. Elle fut démolie et remplacée par l'église actuelle construite sur les fossés et bénite le 24 décembre 1840.
Des travaux par l'architecte Hode, ont amené des ajouts de tourelles, machicoulis, échauguettes et pinacles.