La forteresse a été édifiée à partir du X siècle sur la rive gauche du Loir pour assurer la défense de l'Anjou contre les incursions des Normands, puis des Anglais durant la guerre de Cent Ans. Avant de rejoindre Jeanne d'Arc à Orléans Gilles de Rais, le légendaire Barbe Bleue, y conduit une bataille victorieuse.
Jehan de Daillon, chambellan de Louis XI de France, nouveau seigneur de Lude à la fin du XV siècle, sur les conseils de son ami le roi René d'Anjou, fait appel à l'architecte, du roi René, Jean Gendrot. Celui-ci va entièrement rénover le vieux château et le transformer en un logis avec une façade Renaissance de style italien et les plaques de marbre de la cour d'honneur.
Jean Gendrot présente un projet architectural de style Renaissance. Les travaux prévus sont très importants et dureront plusieurs années. L'architecte amène une nombreuse main-d'œuvre et fait édifier des maisons pour les accueillir le long d'une rue qui se nomme aujourd'hui "rue de la Gendrottière". Les maisons les plus cossues sont réservées aux contremaîtres. Enfin la plus belle d'entre elles, appelée la "maison des architecte" ou la "maison de Gendrot", est une bâtisse de style renaissance, sise près des halles, place du château.
Le premier soin de Gendrot est de raser entièrement les ailes, le pont-levis et l'éperon, de combler le fossé et d'aplanir au niveau de l'ancienne basse-cour tout l'espace qui forme aujourd'hui le parterre de l'Est. Il démolit la tour Nord-Ouest, qui était jusqu'alors plus petite que les autres, et la reconstruit sur une base sensiblement élargie.
Jean Daillon, seigneur du Lude, meurt avant la fin des travaux. Son fils Jacques Daillon mène par la suite le projet jusqu'à son terme par l'achèvement des aménagements.
Le château reçoit alors des hôtes illustres : Henri IV, Louis XIII et la marquise de Sévigné.
C'est la duchesse du Lude qui fait réaliser le cabinet de peintures, studiolo à l'italienne de l'école de Raphaël.
Joseph Duvelaër, chef du conseil de la Compagnie des Indes, acquiert Le Lude en 1751. Sa nièce, Françoise Butler (1741-1798), marquise de La Vieuville par son mariage en 1758 avec Étienne Auguste Baude de La Vieuville (1713-1795), fait construire l'aile classique de style Louis XVI en 1787, et conserve le château durant la Révolution. Sa fille, Élisabeth (1764-1814), épouse Louis Céleste de Talhouët-Bonamour (1761-1812), marquis de Talhouët. Le château passe ensuite à Auguste de Talhouët (1788-1842), fondateur de la branche de Talhouët-Roy, puis à son fils, Auguste de Talhouët-Roy (1819-1884) qui entreprend des travaux de restauration au XIX siècle.
Le comte et de la comtesse Louis-Jean de Nicolaÿ, actuels propriétaires ont continué la restauration des bâtiments et créent de nouveaux jardins.
