Simple emporion grec fondé par les Phocéens de Marseille vers 539 av. J.-C., c'est au cours du IVe siècle av. J.-C. que les Massaliotes commencèrent à signer des traités d'alliance avec quelques villes de la vallée du Rhône dont Avignon et Cavaillon. Un siècle plus tard, Avignon fait partie de la « région des Massaliotes » ou du « pays de Massalia »
Fortifiée sur son rocher, la cité devient par la suite et resta longtemps la capitale des Cavares.
L'évolution notable suivante dans les fortifications du lieu date du XIIe siècle on sera édifié autour de la ville pour la protéger une double enceinte avec fossés.
Lors de la guerre des Albigeois, la ville ayant pris parti pour Raymond VII de Toulouse, comte de Toulouse, elle fut assiégée et prise par le roi de France Louis VIII le 9 septembre 1226. Le roi ordonna que l'on abattit la majorité des murs et que l'on comble les fossés avec l'interdiction de rebâtir avant cinq ans.
Entre 1234 et 1237, la ville se dote des nouveaux remparts. Ces derniers seront créés à plus d'une trentaine de mètres à l'extérieur des ruines des précédents.
Mais c'est au pape Innocent VI, qui doit faire face à la menace des grandes compagnies, dans le sud du royaume, et plus particulièrement en Languedoc, que l'on doit la fortification d'Avignon. A cette époque, les remparts était entourées d'un fossé d'une profondeur d'environ quatre mètres qui était alimenté par les eaux de la Sorgue et de la Durançole. Lors des travaux d'aménagement du pourtour des remparts ce fossé fut comblé. Il ne reste donc visible de nos jours que la partie supérieure des remparts.