Né dans une famille de collectionneurs, il reçoit sa formation à l'École spéciale d'architecture (Paris) (1906-1910). Intéressé au premier chef par la collaboration entre les différentes formes d'art, il s'oriente d'abord, et pour une vingtaine d'années, vers la création de meubles et de décors de cinéma (notamment ceux de L'Inhumaine de Marcel L'Herbier en 1924, mais il a également travaillé pour des réalisateurs de films de reconstitution historique), cinéma que dans la lignée de Ricciotto Canudo, dont il était un proche, il considérait comme un art à part entière. En 1924 il a rénové le fameux Hotel des Roches Noires à Trouville-sur-mer, un lieu fréquenté plus tard par Marguerite Duras. Ce n'est que sur le tard qu'il devint constructeur, presque exclusivement pour des clients privés, son unique commande publique ayant été la réalisation d'une caserne de pompiers à Paris. Il n'en est pas moins considéré aujourd'hui comme l'une des figures majeures de l'architecture française de l'entre-deux-guerres, en tant que l'un des principaux représentants du Mouvement moderne.
Il fut l'un des fondateurs en 1929, et le premier président, de l'Union des Artistes modernes (UAM), réunissant des artistes décorateurs et architectes avant-gardistes. Il fut par ailleurs dans les années 1930 directeur de l'École des Beaux-Arts de Lille.
Pendant l'occupation, il se réfugia avec sa famille en Zone libre (à Penne-d'Agenais, dans le Lot-et-Garonne) pour protéger sa femme qui était juive.
N'ayant pas été reconnu pour son œuvre après sa mort, la plupart de ses réalisations ont été laissées à l'abandon (citons par exemple la villa Cavrois). Depuis une vingtaine d'années, la redécouverte de son œuvre, marquée notamment par une rétrospective au Centre Pompidou en 2005, a entraîné la réhabilition de ces demeures.