Le château de Merville a été construit par Henri Auguste de Chalvet, le descendant de Mathieu de Chalvet qui avait acheté en 1575 tous les droits sur la terre de Merville. À l’époque, il y avait à Merville deux demeures seigneuriales dans l’enceinte fortifiée. Le style n’avait rien des châteaux du Moyen Âge, il n’y avait ni tour ni créneaux.
Henri Auguste de Chalvet, Grand Sénéchal de Toulouse et de l’Albigeois, était dans une situation des plus brillantes. Il se trouve à l’étroit dans la maison de ses ancêtres et conçoit le projet de faire tomber les deux demeures existantes et de construire sur l’emplacement une somptueuse demeure. Pour réaliser ce plan, l’espace était nécessaire. On fit raser l’enceinte fortifiée, on fit racheter des maisons et porter ailleurs le village. On donna aux habitants des maisons et des terrains nouveaux, et c’est ainsi que se forma dès 1734 le quartier qui depuis s’appelle Villeneuve.
L’ancien château, qui tombait en ruine, fut détruit, l’enceinte fortifiée fut détruite et les fosses furent comblées afin d’établir les fondations du château actuel.
Les travaux commencèrent le 1 mai 1743 pour être achevés en 1759. Le marquis de Chalvet dirigea lui-même la construction.
Le château fut respecté sous la Révolution qui a permis de le conserver ainsi que les œuvres d’art qu’il renferme. Les murs des vastes salles du rez-de-chaussée sont recouverts de tapisseries de Flandres datant du règne de François Ier. Les lambris des grands salons sont décorés de scènes chinoises dans le style de l’époque par le peintre de Pins. La galerie des tableaux occupe une salle du premier étage. On y trouve les portraits des seigneurs de Merville et des membres de la famille. Le château lui-même, il a été classé par les Monuments historiques, son architecture très belle étant du pur XVIII siècle.