Après avoir fait ses études secondaires à Perpignan au collège communal, actuel Lycée François Arago, il poursuit ses études supérieures à l'École polytechnique (Promotion X1803), à Paris. Remarqué par Laplace, il est nommé en 1805 secrétaire-bibliothécaire de l'Observatoire de Paris. En 1806, il est envoyé en Espagne avec Biot pour poursuivre le relevé du méridien de Paris. Pris dans la guerre d'Espagne, il est fait prisonnier, s'évade plusieurs fois, et rentre en héros à Paris en 1809. Cette gloire lui permet d'être élu membre de l'Académie des sciences le 18 septembre 1809, à seulement vingt-trois ans.
La même année, il est choisi par Monge pour le suppléer comme professeur de géométrie analytique à l'École polytechnique, et prend le titre de professeur adjoint (de Monge) en 1812. Il restera vingt ans professeur dans cette école, démissionnant en 1830 lorsqu'il est nommé Secrétaire perpétuel de l'Académie des sciences. Il crée en 1816 à Polytechnique un cours original d'"arithmétique sociale", donnant aux élèves des notions de calcul des probabilités, d'économie mathématique et de démographie.
Ceci ne l'empêche pas de poursuivre sa carrière à l'Observatoire de Paris, qui dépend du Bureau des Longitudes. Secrétaire-bibliothécaire en 1805, il est nommé membre-adjoint du Bureau des Longitudes en 1807, puis membre titulaire en 1822, à la mort de Delambre. En 1834, il prend le titre, dont il avait proposé la création au Bureau, de « Directeur des observations à l'Observatoire de Paris » (que dirigeait l'astronome Alexis Bouvard). À la mort de Bouvard, en 1843, il assurera la direction de l'Observatoire jusqu'à sa mort.
La mort de son épouse, en août 1829, est parfois avancée comme l'une des raisons qui le poussent à se tourner vers la vie publique, tant sur le plan scientifique que politique. Il est élu Secrétaire perpétuel de l'Académie des sciences le 7 juin 1830, puis remporte ses premiers mandats électoraux (conseiller général de la Seine en septembre 1830, député des Pyrénées-Orientales en juillet 1831).
En 1825, il est chargé avec Dulong de déterminer la tension de la vapeur d'eau à des pressions dépassant 30 atm. Ses autres études sont consacrées à l'astronomie, au magnétisme et à la polarisation de la lumière. Il détermine, par exemple, le diamètre des planètes et a expliqué entre autres la scintillation des étoiles à l'aide du phénomène des interférences.
Touche à tout, il se mêle aux expériences de mesure de la vitesse du son et étudie les cuves sous pression. Il fait creuser le premier puits à Paris, dans l'actuel quinzième arrondissement. Il inspire à Foucault son expérience des miroirs tournants, qui permettra de mesurer la vitesse de la lumière avec précision.
Conscient de l'importance potentielle du procédé en astronomie, il promeut la photographie alors naissante en soutenant le daguerréotype mis au point par Daguerre : en janvier 1839, il présente devant l'Académie des sciences et l'Académie des beaux-Arts réunies les premiers clichés.
Les premiers travaux de physique d'Arago concernent l'optique. Il fait en 1810 une expérience importante, qu'il présente oralement à l'Académie des sciences le 10 décembre 1810 (il ne la consignera par écrit que juste avant sa mort, plus de quarante ans plus tard): il s'agissait de mesurer la vitesse de la lumière venant des étoiles, en comparant la valeur le matin à 6h et le soir à 18h. Étant donné qu'on n'observe pas d'étoiles pendant la journée, Arago faisait son expérience à ces heures-là. À 6h, quand on observe une étoile au zénith, la Terre s'en approche, on devrait mesurer c + V, où V est la vitesse de rotation de la Terre autour du Soleil ; à 18h, pour une autre étoile au zénith, la Terre s'en éloigne, on devrait mesurer c - V. Or l'expérience est négative, on mesure c dans les deux cas : cette première expérience négative ouvrira la voie à la théorie de la relativité.
Arago, d'abord adepte de la théorie corpusculaire de la lumière, est convaincu par la théorie ondulatoire de son collègue Fresnel, qu'il aidera pour faire ses expériences à l'Observatoire ou présenter ses résultats à l'Académie des sciences. Avec Biot, il détermine l'indice de réfraction de l'air et d'autres gaz.