Le premier château a été construit au XI siècle par le Comte de Toulouse, Duc de Narbonne. Il n’en reste plus rien. Il s’agissait d’une motte castrale (un donjon construit sur une motte et protégé par un talus de terre et un large fossé). Entre ce donjon primitif et la chapelle Sainte Guitte ou Saint Michel, on trouvait le logis seigneurial. Au XII siècle il passe aux mains des d'Adhémar, seigneurs de Rochemaure, ensuite des Adhémar de Monteil, seigneurs de Grignan.
Le château des Adhémar a été construit dans la deuxième partie du XII siècle par les d'Adhémar, qui étaient à leur apogée et font construire un palais. C’est celui qui orne encore aujourd’hui les hauteurs de la ville de Montélimar.
Au XIV siècle fut construit la tour de Narbonne seule partie subsistante d’un château appartenant aux comtes du Valentinois. Le vieux château appartenait alors au Pape. Ce château (à l’exception du donjon a été détruit vers 1580 sur ordre du Duc de Lesdiguières, chef des armées protestantes du Dauphiné pour faire la place à un ensemble de fortifications plus moderne. Le logis seigneurial a été classé monument historique en 1889.
