Les Récollets, issus à la fin du XV siècle d'une réforme de l'ordre des Franciscains, s'appelaient initialement Frères mineurs de l'étroite observance de Saint François.
Ils obtinrent d'Henri IV le 6 janvier 1604 la permission d'installer un monastère sur un terrain qui leur fut donné, à deux pas de l'église Saint-Laurent, par Jacques Cottard, tapissier de son état. Après avoir construit une petite église, ils l'agrandirent dans un premier temps. La première pierre de leur couvent et d'une plus grande église fut posée par Marie de Médicis le 30 août 1614.
Leur bibliothèque était très réputée.
Fermé en 1790, le couvent fut transformé en 1802 en hospice des Incurables-Hommes, puis, en 1861, en hôpital militaire. Il prit en 1913 le nom de Jean-Antoine Villemin (1827-1892), médecin des armées, auteur de recherches sur la tuberculose. La porte d'entrée monumentale de cet hôpital est encore visible au n 8 de la rue des Récollets. Le jardin du couvent en a été séparé, il s'agit du jardin Villemin.
La situation de cet hôpital près des gares du Nord et de l'Est lui a valu une grande activité durant les deux guerres mondiales, et même encore pendant les opérations d'Algérie.
La vétusté de ses équipements entraîna sa fermeture en 1968. Les bâtiments qui subsistent de nos jours datent du XVIII siècle. Les façades et les toitures, l'escalier intérieur avec sa rampe en fer forgé du bâtiment subsistant du XVIII siècle et la chapelle ont été inscrits au titre des monuments historiques par arrêté du 25 juillet 1974.
De 1990 à 1992, le couvent est squatté par un collectif d'artistes, « les anges des Récollets », dont certaines œuvres murales sont actuellement visibles. Les lieux sont fermés en 1999, suite à un incendie. Il faut attendre sa réhabilitation en 2003, par Thomas Corbasson et Karine Chartier, et l'installation en 2004 des locaux de l'Ordre régional des architectes d'Île-de-France pour que le couvent reçoive à nouveau une attribution durable. L'Ordre y crée la Maison de l'Architecture, ce qui confère au lieu une place prépondérante dans la vie architecturale parisienne. Le bâtiment porte encore les traces visibles de son histoire.
