Une maison forte est attestée en 1345. On pense que la partie la plus ancienne du Château, la Tour ronde date à sa base du XIII siècle. Le donjon de plan barlong, quant à lui, date certainement du XIV siècle. Vraisemblablement, ces constructions sont l'œuvre de la famille Arthaud.
Dans la période qui marque le début de la Renaissance, après les guerres d'Italie, mais avant les guerres de religion, l'Arthaudière subit de profondes transformations. Une galerie avec étage est construite contre le mur d'enceinte ouest et contre la tour ronde.
Au bas de la tour ronde, une chapelle a été fondée au début du XVI siècle. André I de La Porte en parle sur son testament en 1517. Durant les guerres de religion le château est incendié par les protestants en 1580 et c'est en 1590 qu'André II de La Porte entreprend sa restauration.
À la jonction du portique Renaissance avec les bâtiments Nord, a été installée au XVIII siècle, un escalier à vis. Ce dernier devait vraisemblablement se trouver auparavant contre le donjon barlong.L'escalier monumental et les travaux de l'aile est, datent de 1680. En 1726 puis au XIX siècle d'autres travaux ont lieu et en particulier la tour ronde est surélevée par un volume polygonal en briques, couvert d'une terrasse.
L'aile Est est détruite par un incendie vers 1950..
Au-dessus de la chapelle, au premier étage, se trouve le cabinet de travail avec sa porte blindée. Cette porte est constituée d'une première porte en sapin fortement cloutée et d'une seconde porte en fer garnie de noyer, le tout fermant bien entendu à clef. C'est dans cette pièce qu'étaient conservés les biens les plus précieux des seigneurs de l'Arthaudière.