L'hôtel de Cassini est construit classiquement entre cour et jardin. La cour s'ouvre sur la rue de Babylone par une porte cochère, flanquée d'une loge de gardien. L'hôtel est en forme de U avec deux ailes en retour d'équerre à droite et à gauche de la cour. Le principal corps de logis, en fond de cour, a perdu son perron dans les transformations effectuées par Arveuf-Fransquin, qui a ajouté aux fenêtres du premier étage des balustrades en pierre de taille et des guirlandes de rinceaux de style Louis XVI.
Deux grandes portes-fenêtres permettent d'accéder au vaste vestibule, au sol dallé de marbre noir et blanc. Le bureau du ministre est installé dans l'ancienne bibliothèque, au rez-de-chaussée sur le jardin. Le grand salon en rotonde qui lui est attenant est traditionnellement dénommé salle de la Chapelle. Les superbes boiseries proviennent de l'hôtel de Monville et ont certainement été exécutées sur les dessins d'Étienne-Louis Boullée. À côté de ce salon, symétrique de la bibliothèque, la salle des Marbres, ancienne salle à manger, a été créée par Arveuf-Fransquin : elle présente des dessus de porte provenant de l'hôtel de Monville dans un décor de marbre griotte de style Louis XIV et un parquet au point de Hongrie.
Le jardin de 5 000 m² touche celui de l'hôtel de Matignon. La fontaine sculptée sur le thème de « la Ronde des enfants » est due à Henri-Léon Gréber, père de l'architecte Jacques Gréber.
Le bâtiment au fond du jardin est l'ancienne hôtellerie construite en 1963 à l'usage des Missions étrangères. Il abrite aujourd'hui des bureaux.