Il fait ses études au Lycée Condorcet, puis entre à l'École normale supérieure en 1879. Il est professeur de rhétorique au Collège Stanislas de Paris de 1883 à 1897. Il collabore à la Revue des Deux Mondes, dont il sera directeur de 1916 à 1937, ainsi qu'à de nombreux journaux, dont le Moniteur, le Journal des débats et la Revue bleue. En 1909, il est élu membre de l'Académie française, dont il devient le secrétaire perpétuel en 1923.
Devenu en 1909 veuf de Louise Veber, sœur du peintre Jean Veber et du vaudevilliste Pierre Veber, il épouse en 1912 la veuve du romancier Maurice Maindron, Hélène de Heredia, fille du poète parnassien José-Maria de Heredia, mort sept ans plus tôt, et belle-sœur de Henri de Régnier et de Pierre Louÿs.