La nébuleuse solaire est le nuage de gaz (ou disque d'accrétion) à partir duquel notre système solaire s'est formé.
Cette hypothèse de la nébuleuse a été proposée pour la première fois en 1755 par Emmanuel Kant, en supposant que la nébuleuse tourne lentement sur elle-même, se condensant et s'aplatissant graduellement sous l'effet de la gravité, pour former plus tard des étoiles et des planètes. Un modèle similaire fut proposé en 1796 par Pierre-Simon Laplace.
Selon la théorie, la nébuleuse aurait eu un diamètre initial de 100 UA et une masse de 2 à 3 fois la masse actuelle du Soleil. Avec le temps, la gravité a causé la condensation du nuage gazeux et, alors que la pression et la densité augmentaient, l'émergence d'une proto-étoile au centre de la nébuleuse. Ce système primitif était chauffé par la friction des molécules, la fusion n'apparaissant que bien plus tard. En raison du principe de conservation du moment angulaire (qui implique l'accélération de la rotation pendant la chute), la nébuleuse ne s'est pas entièrement effondrée sur elle-même, mais a conduit à la formation d'un disque. Un disque protoplanétaire s'est formé, en orbite autour de la proto-étoile.
À l'intérieur du système, les éléments les plus légers tels que l'hydrogène et l'hélium ont été entrainés hors de la région centrale par le vent solaire et la pression de radiation, laissant derrière les éléments plus lourds et les particules de poussière, qui formeront les protoplanètes. Dans la partie externe de la nébuleuse solaire, la glace et les gaz volatils pûrent rester, ce qui résultera dans la formation de planètes "minérales" dans la partie intérieure, et de planètes gazeuses dans la partie externe.
Après 100 millions d'années, la température dans la proto-étoile a atteint un niveau tel que les réactions thermo-nucléaires se sont déclenchées - la proto-étoile devint alors le Soleil. À peu près au même moment, les planètes intérieures se sont formées, soit il y a environ 4,6 milliards d'années.
Les lunes des géantes gazeuses semblent s'être formées de la même façon, s'agglomérant à partir de disques d'accrétion formés autour de ces planètes géantes elles-mêmes. A contrario, la Lune se serait plutôt formée à la suite de la collision de la Terre avec un objet de grande taille (comparable à celle de Mars).
À la fin du 19 siècle, la théorie Kant-Laplace fut critiquée par James Clerk Maxwell, qui montra que si la matière des planètes connues avait un jour été distribuée autour du Soleil sous forme de disque, les forces de la rotation différentielle auraient empêché la création de planètes. Une autre objection mentionnait que le Soleil possédait un moment angulaire inférieur à ce que la théorie Kant-Laplace indiquait. Pendant des décennies, la plupart des astronomes préférèrent la théorie de la quasi-collision (near-collision théory en anglais), selon laquelle les planètes auraient été formées par l'approche d'une autre étoile non loin du Soleil. Ainsi, une grande quantité de matière aurait été attirée en dehors du Soleil et de l'autre astre par l'effet de leurs forces de marée mutuelles, matière qui se serait ensuite condensée en planètes.
Mais des objections apparurent également à l'encontre de la théorie de la quasi-collision, et durant les années 1940, la théorie Kant-Laplace fut modifiée et devint globalement acceptée. Dans la version modifiée, la masse des protoplanètes est considérée comme étant plus grande, et l'anomalie du moment angulaire attribuée aux forces magnétiques.
Les modèles modernes de formation des planètes ont depuis été affiné.