Après avoir fait ses études au lycée Massimo D'Azeglio, à Turin, puis à la Faculté de lettres de l'université de Turin, où il a ensuite été assistant, puis maître-assistant de 1972 à 1976, Carlo Ossola a enseigné la littérature italienne à l'université de Genève jusqu'en 1982, à l'université de Padoue jusqu'en 1988, puis il est revenu dans sa ville natale comme professeur de littérature italienne à la Faculté de lettres de l'université de Turin, où il a enseigné jusqu'en 1999.
Il est, depuis 2000, professeur au Collège de France, où a été créée pour lui la chaire de Littératures modernes de l'Europe néolatine. Il a néanmoins gardé une autre responsabilité pédagogique, celle d'un master spécialisé dans la conservation des biens culturels et l'histoire du livre à l'université de Lugano.
Il est, avec Jack Ralite, à l’origine des « lundis du Collège de France », projet, mis en place depuis 2006 en partenariat avec France Culture, consistant à délocaliser en divers lieux de la commune d’Aubervilliers quelques-uns des enseignements du Collège du France. Le but de ces conférences, s'appuyant notamment sur de grands textes de la littérature mondiale, est d’ouvrir des espaces de partage sur des thèmes de portée universelle.
Critique cité dans de nombreux ouvrages, il a notamment collaboré avec Cesare Segre à l’édition d’une anthologie de poésie italienne, en trois volumes (1997-1999), dans la collection « Pléiade » des éditions Einaudi/Gallimard.