Attaché aux Bâtiments du roi, Collet fut contrôleur des Dehors de Versailles. Il fut nommé contrôleur du château de Chambord, lorsque Louis XV l'affecta au maréchal de Saxe après la paix de 1748. Il fut chargé de restaurer le théâtre du château – le maréchal était grand amateur d'art dramatique – et de remonter des boiseries exécutées pour l'appartement de la duchesse de Berry à Versailles.
Dans la région, Collet fut également chargé du contrôle du château de Blois. À partir de 1760, il conduisit les travaux du château de Menars pour Madame de Pompadour et son frère, le marquis de Marigny, sous la direction d'Ange-Jacques Gabriel puis de Jacques-Germain Soufflot. Il travailla pour une clientèle privée et construisit de nombreux châteaux, d'une élégance sobre et sévère.
Encore actif en 1780, Collet fut contrôleur du château de Vincennes, donna le projet d'une salle pour l'Opéra et celui d'une place Louis-XVI à l'emplacement de la Bastille.