Le magasin est fondé en 1869, par Ernest Cognacq, originaire de l'Île de Ré, et plus tard Marie-Louise Jaÿ, son épouse, ancienne première vendeuse du rayon costumes du Bon Marché. Ernest Cognacq avait commencé par vendre des cravates dans un parapluie sur le Pont-Neuf, puis s'était entendu avec un petit café qu'il fréquentait rue de la Monnaie pour récupérer sa salle annexe peu utilisée et en faire un petit commerce. Le couple, ayant convolé, décide d'agrandir son magasin, qui, prospérant, s'étend et donne naissance en 1900 aux Grands Magasins de La Samaritaine.
S'inspirant des méthodes commerciales d'Aristide Boucicaut au Bon Marché, Ernest Cognacq organise son magasin en rayons gérés par de véritables petits patrons responsables et autonomes.
Par acquisition des bâtiments proches de sa boutique, il agrandit régulièrement son magasin. Les pâtés de maisons sont entièrement réaménagés ou reconstruits progressivement de 1883 à 1933, notamment entre 1903 et 1907 par l'architecte Frantz Jourdain qui y applique les principes de l'Art nouveau. Les divers agrandissements aboutissent en 1933 au grand magasin de dix étages et 48 000 m, réalisé dans un style typique Art déco par l'architecte Henri Sauvage. Le magasin n 2 dans sa totalité, ainsi que les façades et toitures du magasin n 3, sont aujourd'hui inscrits au titre des monuments historiques, depuis un arrêté du 25 juillet 1990.
En proie au déficit dès les années 1990, le magasin voit sa surface réduite. Le 13 février 1997, la Chambre sociale de la Cour de cassation rejette un pourvoi du magasin, qui conteste devoir réintégrer une salariée suite à l'annulation du plan social ayant conduit à son licenciement. Jusqu'alors, les juges considéraient que la « loi Aubry » du 27 janvier 1993 n'impliquait pas que l'annulation d'un plan social par la justice entraîne l'annulation des licenciements .
La Samaritaine est rachetée en 2001 par le groupe LVMH qui avait précédemment racheté le Bon Marché. Le 15 juin 2005, officiellement pour cause de mise en conformité du bâtiment aux normes modernes de sécurité de six ans, mais finalement, pour des raisons de restructuration, comme le pensaient les syndicats, le magasin est fermé pour une longue période.