Mais l’existence des ordres religieux contemplatifs devient plus difficile en Belgique sous les gouvernements autrichien et français. Les dames de Berlaymont sont, une première fois, contraintes à l’exil en 1794. Quatre ans plus tard, le couvent bruxellois est menacé de fermeture. La prévôte, Marie-Louise Marnier, bataille ferme pour retarder l’échéance. Les ordres enseignants et hospitaliers ne sont-ils pas à l’abri ? Puisqu’il y a contestation, un arrêté vient supprimer cette exception. Sous la « protection » de Nicolas Rouppe, alors commissaire du Directoire à la municipalité, les dernières sœurs quittent le monastère le 31 mai 1798. Deux mois plus tard, la propriété est mise en vente publique par lots et les bâtiments sont démantelés pour récupérer les matériaux.
Même dispersées, les religieuses restent soudées. Un pensionnat, réduit à quelques élèves, subsiste à la maison de la Folie, rue aux Laines, puis dans l’ancien hôtel du prince de Gavre, rue des Trois-Têtes. Les religieuses parviennent même à se regrouper dans la maison d’à côté en 1802. Six ans plus tard, le 5 septembre 1808, elles s’installent dans l’ancien couvent des Minimes, situé entre les rues de l’Etoile, du Manège et de l’Arbre Bénit. Pour faciliter la construction du nouveau pensionnat, leur voisin, le prince de Mérode, leur cède une large bande de terrain dans le fond de son vaste jardin. Les 16 moniales sont désormais prêtes à rebâtir.
Malgré des promesses répétées, le régime hollandais s’attaque à l’instruction chrétienne et impose, notamment, un diplôme pour enseigner. Les sœurs s’y attèlent et obtiennent le précieux sésame mais le mal est fait et sera, notamment, à l’origine de la Révolution belge de 1830.
Une nouvelle menace, d’une tout autre nature, contraint à nouveau le Berlaymont à l’exode quelques années plus tard. Il s’agit de la construction du nouveau palais de justice de Bruxelles qui, en l’absence de résultat probant au concours d’architecture organisé à cette occasion, est confiée en 1861 à l’architecte Joseph Poelaert. La présence de la vaste propriété de la famille de Merode et la proximité de la toute nouvelle avenue Louise que l’on cherche à relier avec le centre servent d’arguments au choix de l’emplacement. S’il ménage l’hôtel de Merode Westerloo auquel il conserve un petit jardin, le plan d’aménagement de Joseph Poelaert ne permet pas de conserver le pensionnat des dames de Berlaymont. En effet, celui-ci se trouve sur le tracé de plusieurs rues nouvelles, comme le prolongement de la rue de la Régence, la rue Ernest Allard et les petites rues de liaison prévues entre elles. De plus, la création de l’immense place qui ouvre sur le Palais de justice supprime la meilleure partie du jardin utilisée par le pensionnat.
Expropriées par l’Etat belge, les dames de Berlaymont déménagent une nouvelle fois le 16 juillet 1864 dans un quartier campagnard, loin des fureurs de la vie citadine, à front de la rue de la Loi qui vient d’être prolongée jusqu’à la nouvelle plaine des manœuvres située au futur parc du Cinquantenaire. C’est donc au bout du monde qu’elles construisent de nouveaux bâtiments, entourés à l’arrière d’un beau parc. Le chevet de la nouvelle église, achevée en décembre 1876, était visible depuis le boulevard Charlemagne.