Christian Dior engagea un architecte célèbre qui lui fut présenté par le Parfumeur Molineux au cours d'un voyage en URSS: André Svetchine, afin de restructurer et rénover la bâtisse. Ce qui n'était que caves à vins ou granges fut transformé en suites et salons sous la plume habile de Christian Dior! Les fenêtres furent redistribuées, l'entrée entièrement crée et dessinée par Dior lui même: il reprit le motif symbole de sa villa d'enfance "les rhumbs" soit, la rose des vents. Il créa le « miroir d'eau », grand bassin de plus de 40 mètres de long. Il fit également restaurer la Chapelle Saint-Barhélémy du village de Montauroux, qu'il légua ensuite à la commune en 1953 sous condition qu'elle l'entretienne.
Après le décès de Christian Dior en 1957, c'est sa sœur cadette Catherine Dior qui hérita de la demeure, mais elle la revendra aux époux Laroche, propriétaires du célèbre Hôtel 4 étoiles La Réserve de Beaulieu. Ils n'eurent pas le temps de s'occuper d'une propriété dans l'arrière pays varois et elle est à nouveau délaissée et pillée avant d'être rachetée en 1976 par les époux Tassou. La demeure fut à nouveau remise en état. La restauration de la chapelle Sainte-Anne a duré 2 ans car tout avait été pillé et l’autel a été refait à l'identique par le marbrier Guilvart de Callian.
Le Château est aujourd'hui un lieu de réception et de villégiature; des mariages y sont organisés dans un cadre exceptionnel (Site officiel du château de la Colle Noire.)
Pour anecdote, le groupe anglais Oasis y a enregistré en partie son 4e album Standing on the shoulder of giants d'avril à août 1999.