L'abbaye de Saint Ruf fut le siège d'un ordre de chanoines réguliers de Saint-Augustin développé à la fin du XI siècle à partir d'un lieu de culte de la périphérie d'Avignon, mal documenté jusqu'à sa cession en 1039 à quatre clercs, désireux de « vivre religieusement », par Bénézet, évêque d'Avignon.
Des fouilles archéologiques ont montré que le site de l'abbaye avignonnaise était initialement celui d'une nécropole paléochrétienne. Mais la personnalité exacte du saint n'est pas assurée : sa qualification comme premier évêque d'Avignon, son identification avec le fils de Simon de Cyrène, relèvent de traditions développées avec l'essor de l'ordre.
L'abbaye, soutenue par la papauté grégorienne et les comtes de Barcelone, devient au XII siècle un des principaux foyers de la réforme canoniale, dont les coutumes connaissent une diffusion « européenne » (France méridionale, Péninsule Ibérique, Scandinavie, Allemagne du sud, etc.). Ce rayonnement est doublé par la construction d'un ordre religieux d'une ampleur moindre, ce qui explique qu'il soit négligé par l'historiographie.
Le siège de cet ordre fut toutefois déplacé à Valence, à la suite de différents avec le chapitre cathédral d'Avignon. Le site de l'ancienne abbaye devint alors le siège d'un simple prieuré rufinien, rapidement annexé aux revenus particuliers des abbés de Saint-Ruf.
Au XIV siècle, s'y réunissent néanmoins deux conciles provinciaux, en 1326 et 1337, présidés par le camérier de Jean XXII, Gasbert de Valle, archevêque d'Arles.
L'existence de l'ordre a diffusé le culte de ce saint hors du diocèse d'Avignon. On retrouve la consécration de lieux de cultes voués à saint Ruf à Valence, Lérida, Romans, Montpellier.