Une fois le projet de jardin bien en main, Bartolomeo Ammannati tourne son attention vers la création d’une grande cour, juste derrière la façade principale, permettant de relier le palais à son nouveau jardin. Cette cour présente des canaux en bossages qui seront largement copiés, notamment pour le palais du Luxembourg de Marie de Médicis, à Paris. Sur la façade principale, Ammannati pose également des finestre inginocchiate (fenêtres « agenouillées », en référence à leur ressemblance avec un prie-Dieu, déjà utilisées par Michel-Ange), pour remplacer les baies à chaque extrémité. Entre 1558 et 1570, Ammannati construit un escalier monumental qui conduit en grande pompe au « piano nobile ». Il élargit les ailes de la façade donnant sur le jardin. Elles embrassent alors une cour, creusée dans la pente de la colline, située au même niveau que la cour devant le bâtiment et qu’il est possible de voir à travers l’arche centrale du sous-sol. Du même côté, Ammanati construit un grotto, appelé le « grotto de Moïse » en référence à la statue en porphyre qui y est visible. Sur la terrasse au-dessus, au même niveau que les fenêtres du piano nobile, l’architecte installe une fontaine, elle sera remplacée en 1641 par la « Fontana del Carciofo » (Fontaine de l’Artichaut), conçue par Giovanni Francesco Susini (it), un ancien élève de Giambologna. En 1616, un concours est organisé pour la conception d’extensions de part et d’autres de la façade principale. Giulio Parigi remporte le contrat. Les travaux commencent en 1618 sur la partie nord et, en 1631, Alfonso Parigi attaque la partie ouest. Au XVIIIe siècle, deux ailes perpendiculaires sont ajoutées par l’architecte Giuseppe Ruggeri pour accentuer l’élargissement de la via Romana, ce qui créé une place centrée sur la façade, prototype de la « cour d’honneur » qui sera copiée en France. Durant de nombreuses années, de sporadiques ajouts et modifications moins significatifs, seront faits sous d’autres maîtres et architectes.
Sur un des côtés des jardins se tient un singulier grotto conçu par Bernardo Buontalenti. La partie du bas fut commencée par Vasari mais l’architecture des étages supérieurs est bouleversée par des stalactites en pierre ponce entourant les armoiries des Médicis. L’intérieur est lui aussi un équilibre entre architecture et nature. Dans la première pièce se trouvent des copies des quatre esclaves inachevés de Michel Ange qui émergent de chaque coin. Ils semblent porter la voûte, qui comprend un oculus ouvert en son centre et peint comme un berceau rustique avec des animaux, des personnages et de la végétation. D’autre personnages, animaux et arbres, fabriqués en stuc et en pierre ponce brute ornent le bas des murs. Un court passage mène à une deuxième petite chambre puis à une troisième au milieu de laquelle se dresse une fontaine et dans son bassin la Venus de Giambologna, regardant avec effroi par dessus son épaule quatre satyres lui crachant des jets d’eau.
Le bâtiment est vendu en 1549 par Buonaccorso Pitti, un descendant de Luca Pitti, à Éléonore de Tolède. Élevée à la cour de Naples, Éléonore est la femme de Cosme Ier de Toscane, qui deviendra plus tard grand-duc. Lors de son déménagement dans le palais, Cosme demande à Giorgio Vasari d'agrandir la structure pour se conformer à ses goûts ; sa surface sera plus que doublée par l'addition d'un nouveau bloc à l'arrière. Vasari construit également le corridor de Vasari, un passage protégé et couvert entre le palazzo Vecchio, siège du gouvernement, et le palais Pitti et qui traverse l'Arno, au-dessus du Ponte Vecchio. Ce passage permet au grand-duc et à sa famille de se déplacer aisément entre leur résidence officielle, le palazzo Vecchio, et le palais Pitti. À l'origine, le palais Pitti était principalement utilisé pour loger des invités officiels et pour certains évènements occasionnels de la cour, le palazzo Vecchio restant la résidence principale des Médicis. Il ne sera occupé de manière permanente qu'à partir du règne de Ferdinand Ier de Médicis, fils d'Éléonore, et de sa femme Christine de Lorraine. Il abritera alors la collection d'art des Médicis.
Une parcelle est ensuite acquise sur la colline à l'arrière du palais pour y créer un grand parc et des jardins, connus aujourd'hui sous le nom de Jardin de Boboli.