Les déclarations de vols n'attirent l'attention des autorités qu'au bout de plusieurs années. Le scandale éclate finalement avec le rapport Boucly publié dans Le Moniteur du 19 mars 1848. Sur le point d'être inculpé, Libri s'enfuit en Angleterre avec la complicité de son collègue de la commission des Monuments historiques, Prosper Mérimée ; on retrouvera dans son logement à la Sorbonne quelques liasses restituées ensuite à la bibliothèque Inguimbertine de Carpentras. Dès 1847, Libri avait vendu une partie de sa collection à Lord Ashburnham, sans en justifier la provenance : il faudra toute la ténacité de Léopold Delisle (1826-1910), administrateur de la Bibliothèque nationale, pour obtenir en 1888 des héritiers de Lord Ashburnham la restitution, moyennant finances, d'une partie des documents volés. De son côté, le gouvernement italien racheta en 1884 à Lord Beltram quelques 2000 manuscrits, qui ont retrouvé les rayons de la bibliothèque Laurentienne.
En 2009, un étudiant hollandais, Erik-Jan Bos, avait fait une requête sur Google avec les termes “autographed letter” et “Descartes”. Il accédait ainsi au catalogue de la bibliothèque du Harveford college, dans la banlieue de Philadelphie, qui mentionnait une lettre de Descartes au Père Mersenne datée du 27 mai 1641 et relative à la publication des Méditations métaphysiques. Or celle-ci avait été dérobée à l’Institut de France par le comte Libri entre 1837 et 1847. Le collège a restitué ce document à l’Institut de France le 8 juin 2010.
En 1841, Libri, connu pour son érudition et sa connaissance de l'histoire des livres, parvient à se faire nommer secrétaire de la Commission du Catalogue général des manuscrits des bibliothèques publiques de France. Abusant de ses fonctions, il parcourt le pays et, un « emprunt » en entraînant un autre, il complète petit à petit sa collection de livres rares et d'autographes. Grâce à la confiance aveugle du chanoine Hyacinthe Olivier-Vitalis, il s'empare à Carpentras de nombreux documents tels que les « Œuvres de Théocrite et d'Hésiode » (Venise, Alde, 1495). Il n'hésite pas, à l'occasion, à mutiler certains manuscrits : cinq volumes du fonds Peiresc et au moins deux mille feuillets disparaissent ainsi.
Il épousa Mélanie Jeanne Charlotte Double, décédée en 1865, fille du docteur François Joseph Double (1776-1842), fondateur de l'Académie royale de médecine, et soeur du baron Léopold Double.