Les publications de cet homme n'ont pas toujours été du goût de tout le monde. Les 6 et 7 décembre 1884, le journal Suisse, L'Impartial, de La Chaux-de-Fonds (Canton de Neuchâtel), rapporte la petite vague médiatique et judiciaire qu'a suscité à l'époque ses deux premières œuvres :
« L’IMPARTIAL - 6 décembre 1884
Chaux-de-Fond, le 4 décembre 1884, Monsieur de Rédacteur de l'Impartial,
Au moment où, après Genève et Vaud, pour la troisième fois, un canton suisse, le nôtre, a expulsé le sieur Bouglé, ci-devant à la Chaux-de-Fonds, ce dernier a déclaré qu'il se vengerait. Il vient de tenir parole, en publiant sous un faux nom, un volume pornographique au premier chef, pour lequel il sera vraisemblablement poursuivi d’office. Dans cette brochure, le pseudo médecin, qui se trouve porteur de titres américains, attestant des études faites à Lyon, fait l’éloge du titre « L’art de se tuer ».
...dans ce nouvel ouvrage, diverses personnes, habitant les villes dont B. a été expulsé, sont lâchement insultées et calomniées sous le voile du pseudonyme...
L’IMPARTIAL - 6 décembre 1884. Monsieur de Rédacteur de l'Impartial,
Il y a quelques mois nous signalions l’apparition d’une brochure ordurière à l’adresse de la Suisse romande. Le triste personnage — auteur de cet écrit — qui essayait de se dérober sous le faux nom de « A. des Roberts, à New-York », n’était autre que le charlatan Bouglé. Cet être — dont le casier judiciaire est loin d’être vierge — mis en goût par son premier « chef-d’œuvre », vient de lancer un nouveau pamphlet, que nous ne prendrons pas la peine de qualifier. ... l’auteur des deux pamphlets en question n’est autre que le nommé : « Pierre-Aristide-Céleste Bouglé », né en 1854 à Vouillé, arrondissement de Poitiers, Vienne (France)*.
*
... »
En décembre 1898, suite à des articles écrits dans le journal L'Ane (tribune libre de Neuchâtel), C. Bouglé est l'objet d'un procès en diffamation contre un certain Docteur Théophile Probst
