Au no 3 se situe l’hôtel du XVIIe siècle construit par Le Vau pour lui-même car Le Vau avait épousé la fille d’un notaire qui était propriétaire du terrain voisin à celui de l’hôtel Lambert. Sa façade est la continuation de celle de l’hôtel de Lambert. Par la suite, cette maison devint une annexe de l’hôtel.
Ses quatre premiers enfants naquirent ici, sa mère y mourut. Il habita cet hôtel de 1642 à 1650, alors qu’il travaillait à l’hôtel Lambert tout proche.
Une fois disparu, en 1670 son hôtel fut la propriété de la famille de La Haye qui était déjà propriétaire de l’hôtel Lambert. Cette famille s’empressa de réunir les deux bâtiments.
Le Prince Adam Jerzy Czartoryski, fils du prince Adam Casimir Czartoryski, dut quitter la Pologne après l'insurrection de novembre 1830. Il mourut à Montfermeil en 1861, à l'âge de 90 ans.
Il donnait à l'hôtel Lambert des fêtes somptueuses et l’hôtel devint un foyer culturel polonais où l'on y rencontrait George Sand et Frédéric Chopin, Delacroix, Zygmunt Krasiński, Alphonse de Lamartine, Honoré de Balzac Hector Berlioz, Franz Liszt, et le poète Adam Mickiewicz. C'est pour le grand bal annuel que Chopin composa nombre de ses polonaises.
Patriote polonais, le prince Czartoryski participa activement à maintenir vivante la « question polonaise » dans les chancelleries européennes. Le « Parti de l'Hôtel Lambert » rassembla ainsi la fraction libéral-aristocratique de l'émigration polonaise. Czartoryski créa de nombreuses institutions, telles que la Librairie polonaise, la Société historique de Pologne, un institut pour les jeunes filles polonaise et une école pour les jeunes gens polonais.
C'est ainsi que l’hôtel Lambert devint le plus grand centre politique, culturel et social polonais hors de Pologne.
La Bibliothèque Polonaise existe toujours et est située au no 6 du quai d'Orléans, toujours dans l’île Saint-Louis.