En 1916, Charles-Marie Widor, organiste et compositeur célèbre, secrétaire perpétuel de l'Académie des Beaux-Arts, exprime le vœu que des artistes français puissent compléter leur formation en Espagne comme ils le faisaient à la Villa Médicis de Rome. Le roi Alphonse XIII choisit lui-même à Madrid, un terrain de 20 000 m qui serait cédé à la France pour y construite une résidence à l'intention des artistes et des chercheurs.
Fondée en 1920, aménagée par l'architecte Léon Chifflot, elle est inaugurée en 1929, et encore agrandie par l'architecte Camille Lefèvre jusqu'en 1935. Mais elle est détruite en 1936 durant la guerre civile espagnole. Reconstruite en 1959 dans son site originel, en pleine Cité universitaire.
La Casa de Velázquez fêtait son cinquantenaire en 1979, en présence de la reine Sofía et d'Anne-Aymone Giscard d'Estaing et elle fêtait en 2003 son 75 anniversaire.
Depuis sa fondation, la Casa a été dirigée successivement par :
- Pierre Paris (de 1928 à 1932)
- François Dumas (de 1932 à 1940)
- Maurice Legendre (de 1940 à 1955)
- Paul Guinard (de 1955 à 1957)
- Henri Terrasse (de 1957 à 1965)
- Didier Ozanam (de 1965 à 1966)
- François Chevalier (de 1966 à 1979)
- Didier Ozanam (de 1979 à 1988)
- Joseph Pérez (de 1989 à 1996)
- Jean Canavaggio (de 1996 à 2001)
- Gérard Chastagnaret (de 2001 à 2006)
- Jean-Pierre Étienvre (depuis 2006)
À partir de début 2010, la Casa de Velázquez va subir d'importants travaux de mise en conformité technique et de modernisation de son bâtiment principal.
