La ligne est ouverte par tronçons successifs de 1860 à 1870.
Le tronçon de Soissons à la frontière belge
Le décret du 26 juin 1857 concède à titre définitif la ligne de La Plaine à Soissons à la Compagnie du Nord et concède à titre éventuel une ligne de Soissons à la frontière belge, par Laon, Vervins et Hirson. Cette dernière est déclarée d'utilité publique le 22 septembre 1861 et concédée, avec un délai de réalisation fixé à huit ans. Elle est réalisée sans subvention, mais avec les garanties d'intérêt et d'amortissement qui sont attachées au nouveau réseau.
La ligne, longue de 90 kilomètres, traverse une région de plateaux calcaires, recouverts de limon, favorables à la grande culture des betteraves sucrières, et dotés de nombreuses distilleries. La gare de Soissons est ouverte dès 1862, lors de l'ouverture de la ligne de Reims. Avant d'atteindre Laon, la ligne se raccorde à la ligne de Tergnier à Reims, ce qui lui assure un débouché sur le Nord.
Le tronçon de Soissons à Laon est mis en chantier 1864 : dès le début de 1865, la plupart des ouvrages d'art sont réalisés, les deux principaux étant constitués par le pont sur l'Aisne à Soissons et un tunnel long de 650 mètres, le tunnel de Vauxaillon, permettant de relier les bassins de l'Aisne et de l'Ailette. Dès le 8 septembre, une locomotive, emportant à bord M. Lupan, ingénieur de la Compagnie et plusieurs conducteurs de travaux, parcourt la ligne jusqu'à la gare de Laon. Cette gare, ouverte en 1857, se situe alors à 140 km de Paris au lieu de 158 par Tergnier. Le tronçon Soissons - Laon (34 km) est ouvert le 3 janvier 1866. Il ne faut plus que quatre heures trente minutes aux omnibus pour atteindre Paris. En 1866, le tronçon de Soissons à Laon amène 509 049,19 francs de recettes, contre 369 606,65 de dépenses, la différence représentant 2 % du capital dépensé pour cette section.
Le tronçon Anor - frontière belge (6 km) atteint un point fixé, après concertation entre les deux gouvernements, entre les communes d'Ohain et de Momignies, comme précisé dans la convention conclue le 15 janvier 1866. Elle rejoint deux kilomètres avant Momignies la ligne belge qui dessert cette commune, puis Chimay. L'ouverture du tronçon le 28 mai 1868 permet à l'industrie textile et métallurgique locale de trouver des débouchés vers Mariembourg et Hastière, en attendant le raccordement du tronçon au réseau français en octobre et novembre 1869, respectivement à la ligne Saint-Quentin - Erquelines et à la ligne Reims - Charleville-Mézières.
Le tronçon Laon - Vervins (38 km) est mis en chantier en 1867, sauf quinze kilomètres au départ de Laon, les habitants de Crécy souhaitant un tracé plus à l'ouest, dans l'espoir d'obtenir une station plus proche. Les travaux les plus importants sont constitués par de volumineux terrassements nécessaires pour asseoir solidement la voie sur un sol inconsistant. Les ouvrages d'art d'importance sont a contrario peu nombreux, constitués pour l'essentiel de ponts sur de petits cours d'eau et quelques passages sur routes.
D'Hirson à Anor, le tronçon de huit kilomètres franchit l'Oise par un viaduc en aval de l'étang de Blangy puis s'installe à flanc de coteau sur la rive droite. Elle franchit le point culminant à 242 mètres d'altitude avant de redescendre vers Anor.
Les tronçons Laon - Vervins et Hirson - Anor ouvrent simultanément le 30 octobre 1869, le même jour que le tronçon d'Aulnoye à Anor (33 km) : les omnibus Vervins - Soissons effectuent le trajet en deux heures quarante minutes en moyenne, temps variable selon la durée de l'arrêt à Laon.
Le dernier tronçon de Vervins à Hirson (18 km) contourne le sud puis l'est de la ville et poursuit son parcours en Thiérache, le plus souvent en remblai sur un sol argileux instable. La ligne atteint Hirson, où elle se soude aux voies en direction d'Anor, ainsi qu'à celles de la ligne Mézières - Hirson, concession de la Compagnie de l'Est.
La nature inconsistante des terrains ralentit les travaux : leur consolidation s'impose sous un des principaux remblais du tronçon. Le tronçon est ouvert le 30 août 1870, mais uniquement pour le transport de troupes. Elle ouvre finalement au public, le 1 juillet 1871, mais d'importants travaux de reconstruction ne permettent son exploitation régulière que début septembre. Il faut alors 3 h 30 pour rejoindre Soissons par omnibus, et 6 h 30 pour relier Paris.
Le quadruplement La Plaine - Aulnay-sous-Bois
Au début du XX siècle, avec 230 trains par jour, la ligne de La Plaine est encore plus saturée que la ligne Paris - Lille. La coexistence de rapides et express avec une desserte de type banlieue omnibus connaît des difficultés croissantes. Le quadruplement de la ligne est mis en œuvre de Paris à Aulnay-sous-Bois afin d'assurer une meilleure régularité. La déclaration d'utilité publique est publiée par décret le 26 juillet 1907 et les travaux sont achevés en 1913. Les nouvelles voies sont insérées de part et d'autre des anciennes de Paris à La Plaine, puis se rejoignent grâce à un saut-de-mouton pour suivre du côté sud les anciennes voies d'Aubervilliers à Aulnay-sous-Bois. Ce quadruplement entraîne la suppression de la totalité des passages à niveau, la construction de nouveaux quais et de passages souterrains ou d'une passerelle (Aulnay) pour les voyageurs.
Durant les années 1920, le réseau de la banlieue nord souffre de plusieurs défauts qui rendent la desserte insuffisante. Alors que le réseau Ouest connaît une importante modernisation avec l'électrification partielle, la mise en place d'automotrices modernes et d'un service à horaires cadencés, le réseau Nord reste peu adapté à une desserte de type banlieue. La traction vapeur est maintenue, les gares sont trop espacées, les terminus intermédiaires sont trop peu capacitaires et le nombre de voies de réception à la gare du Nord est insuffisant. Une première amélioration est néanmoins mise en place avec la mise en service de rames réversibles et de locomotives à vapeur plus puissantes possédant de meilleures accélérations.
L'électrification
Sur le réseau Nord, l'électrification arrive sur la ligne Paris - Lille via Creil le 9 décembre 1958 puis sur les lignes Paris - Bruxelles via Compiègne et Paris - Mitry - Crépy-en-Valois en 1963.
Le 16 juin 1972, l'effondrement du tunnel de Vierzy, dans l'Aisne, provoque la collision de deux autorails et fait 108 morts et 111 blessés. C'est, en France, l'accident ferroviaire le plus meurtrier depuis la catastrophe ferroviaire de Lagny-Pomponne en 1933.
Jusque dans les années 1990, deux express Corail, un le matin, l'autre le soir, relient Paris à Hirson via Laon, la desserte étant, pour le reste, essentiellement constituée d'autorails omnibus ou semi-directs, de type X 4500, de Paris vers Soissons ou Laon. Le service direct Paris - Hirson est alors supprimé, les express étant limités à Laon avec correspondance vers Hirson. La section Paris - Laon est modernisée avec généralisation des Corail TER et d'autorails récents.
