Le château appartient au comte Baudouin-Napoléon de Witt, qui est un descendant de Jérôme Bonaparte, le roi Jérôme, un des frères cadets de Napoléon Bonaparte.
Le roi Jérôme eut plusieurs enfants, dont la célèbre princesse Mathilde (qui fut une "figure" du second Empire) , et le prince Jérôme Napoléon, dit Plon-Plon, qui fut souvent en désaccord avec le parti bonapartiste.
Le fils de Plon-Plon est le prince Victor-Napoléon (1862 - 1926) qui devint l'héritier du trône impérial après la mort du Prince impérial, tué en 1879 lors d'une bataille contre les zoulous en Afrique australe (le Prince impérial avait demandé à rejoindre les rangs de l'armée anglaise).
Le prince Victor-Napoléon dut s'exiler en Belgique quand la république vota une loi interdisant aux descendants des familles ayant régné sur la France de vivre sur le sol français. En 1910, le prince Victor Napoléon épousa Clémentine, princesse de Belgique, fille du roi Léopold II, malgré le fait que le roi avait mis son veto à ce mariage.
Laetitia de Witt, docteur en histoire, et fille du comte de Witt, a publié en 2007 chez Fayard une biographie de son ancêtre le Prince Victor-Napoléon.