Des fouilles archéologiques réalisées sur l'emplacement du pavillon de Vendôme ont permis la découverte d'une mosaïque d'environ 10 mètres de longueur composée de carrés noir et blanc en quinconce. On peut aussi voir dans le jardin un chapiteau de marbre corinthien et des fragments de colonnes découverts sur place. De plus, pour l'archéologue Robert Ambard, la partie la plus ancienne du mur du pavillon, située rue Tavan contient des éléments de marbre et des fragments de tuiles antiques.
Le pavillon de Vendôme illustre l'un des plus beaux exemples de l'architecture classique en Provence. Construit à partir de 1665 avec de la pierre jaunâtre des carrières de Bibémus, le bâtiment ne possédait à l'origine qu'un seul étage avec une grande frise supportant un toit à la Mansart en ardoise percé de lucarnes ajourées. Les carrosses pouvaient accéder directement à l'intérieur du pavillon grâce à des arcatures ouvertes au rez-de-chaussée. Considérablement remanié au XVIIIe siècle, le pavillon fut surélevé d'un étage et son toit fut couvert de tuiles romaines. Les ouvertures au rez-de-chaussée furent fermées. Les ornements extérieurs superposent des pilastres de style dorique au rez-de-chaussée, ionique au premier étage et composite au deuxième étage. Les deux atlantes baroques (allégories de l'Aurore et du Crépuscule), réalisés dans de la pierre blanche de Calissanne, encadrent l'entrée principale et soutiennent un balcon aux ferronneries d'origine. Ils ont été réalisés par le sculpteur Jean-Claude Rambot avec la participation du sculpteur Pavillon. Les guirlandes de fruits et le mascaron du portail représentent l'été. Sur les deux consoles de pierres du deuxième étages figuraient jusqu'à la Révolution les bustes du roi et du dauphin.
L'escalier d'honneur est particulièrement remarquable. Celui-ci, datant du XVIIIe siècle, possède une rampe d'appui en fer forgé. Des sculptures en gypseries, sphinx, guirlandes, putti et aigles composent son décor. Certaines salles présentent des plafonds peints, datant du XVIIIe siècle et sont tapissées de cuir de Cordoue.
Le pavillon de Vendôme conserve plusieurs portraits et dessins des XVIIe et XVIIIe siècles. Le mobilier se compose notamment d'un ensemble provençal, ainsi que d'une commode estampillée Foullet. Le pavillon conserve également des faïences de Moustiers des XVIIe et XVIIIe siècles.
Le jardin à la française du pavillon de Vendôme, aujourd'hui jardin public, a été reconstitué d'après des documents gravés du XVIIe siècle. Il est orné en son centre d'une fontaine circulaire ornée d'un putti. Des quatre pavillons d'angles qui cantonnaient autrefois le jardin, deux seuls nous sont parvenus, dont l'un a été transformé en chapelle au XIXe siècle. Les extérieurs sont ceints dès la construction du pavillon de murs crénelés afin de se prémunir contre la visite de maraudeurs.