Même si ce système permet à des personnes qui ne sont pas des professionnels d'un domaine donné de diffuser un travail, qui n'a aucune raison d'être rejeté a priori, cette situation pose quand même quelques problèmes car un article qui n'a pas été relu par un arbitre (anonyme) peut donc être sujet à des modifications parfois profondes. Cet aspect est néanmoins nuancé par le fait que toutes les versions successives sont accessibles. Il est donc possible de détecter facilement si des corrections majeures ont eu lieu. Un exemple récent est la tentative de démonstration de l'existence globale d'une solution aux équations de Navier-Stokes par Penny Smith dont toutes les versions, depuis la soumission initiale jusqu'à sa suppression, sont directement accessibles.
Bien que représentant une barrière plus facile à franchir qu'un comité de lecture, l'acceptation de prépublication sur arXiv n'est pas automatique et il existe une modération par les administrateurs du site. Quelques scientifiques, comme le lauréat du prix Nobel de physique Brian David Josephson se sont plaints de ce système car leurs soumissions sont systématiquement reclassées par les administrateurs de arXiv à cause de la nature très controversée. Ces personnes qualifient la modération des administrateurs de l'arXiv de censure.
En novembre 2007, un physicien américain, A. Garrett Lisi, dépose ainsi un article décrivant une « théorie du Tout » basée sur le groupe de Lie E8; ce travail fut extrêmement médiatisé en novembre et décembre 2007, alors qu'il n'avait encore été accepté par aucune revue.