Après le guerre, c’est sous sa direction que l’église Saint-Paul (Paulskirche) de Francfort, symbole national et un des berceaux de la démocratie allemande, fut reconstruite, et put être inaugurée en 1949. L’espace intérieur en particulier fut fortement remanié par Schwarz, tendant à faire de l’édifice un lieu ouvert sur le monde et à illustrer son rejet de la pompe dictatoriale de l’architecture nazie ; Schwarz devait déclarer que l’édifice avait « atteint une austérité et une sobriété telles qu’aucune parole fausse n’y sera désormais possible ».
Appelé, sitôt revenu des camps de détention, à codiriger, en 1946, la reconstruction du centre de Cologne, il résolut de faire renaître dans le centre-ville, autour de ses douze églises romanes, des quartiers d’habitation ayant chacun son caractère propre. Certains bâtiments anciens, tel que le Gürzenich (XVe siècle), furent reconstruits. En outre, il reçut mission en 1949 de mettre au point un plan de réaménagement (Neugestaltungsplan) pour la grande agglomération industrielle de Cologne ; fait notable, il appuya ce plan explicitement sur les travaux qu’il avait auparavant effectués pour l’aire urbaine de Thionville.
De 1953 à 1961, il enseigna à l’académie des Beaux-Arts de Düsseldorf, où, prenant part au débat sur le Bauhaus de 1953, il s’opposa ouvertement à Walter Gropius, puis rompit définitivement avec lui et avec les représentants du fonctionnalisme.
En 1954, il épousa sa collaboratrice d’alors, l’architecte Maria Lang, laquelle poursuivit après sa mort les activités du bureau d’architectes Schwarz und Partner et s’appliqua, avec ses collaborateurs, à achever un grand nombre des vingt constructions que Schwarz avait projetées, parmi lesquelles dix églises. Maria Schwarz s’engagea pour la préservation et, au besoin, pour la transformation des édifices de son mari, ce qui lui valut en 2008 d’être nommée, à l’âge de 86 ans, membre d’honneur de l’association colonaise Architekturforum Rheinland.
Rudolf Schwarz, qui avait été engagé en 1941 dans le Externe Wiederaufbauamt de Château-Salins, exerça ses activités tout d’abord dans la région du Saulnois, qui avait dans une large mesure été dépeuplée par l’expulsion de sa population francophone. Il est opportun de rappeler que l’Allemagne nazie avait, après l’annexion de fait de la Lorraine en 1940, expulsé, souvent avec brutalité, une centaine de milliers de personnes de langue maternelle française (c’est-à-dire, dans certains villages, jusqu’à 80% des habitants), ces expulsions venant s’ajouter aux plus de 100 000 (les estimations oscillant entre 160 000 et 314 000 personnes, soit, pour l’hypothèse haute, jusqu’à 45% de la population totale) qui avaient déjà fui la région durant la campagne militaire de 1940 et qui ne devaient réintégrer leurs foyers qu’à l’issue de la guerre. Dans la foulée des expulsions fut mise en œuvre une politique de germanisation (Volkstumspolitik), tendant à attirer en Lorraine des fermiers et travailleurs de souche allemande (« deutschstämmig ») venus d’Allemagne ou d’Europe de l’est, par exemple de la Bucovine. Il n’est pas exagéré de dire que cette politique de repeuplement (Umvolkungspolitik) est analogue, abstraction faite des génocides, à celle appliquée en Europe de l’est pendant la même période. De la même façon qu’à l’est également, cette politique se fondait sur des travaux scientifiques réalisés avant la guerre dans des contextes différents, notamment ceux de Christaller, et employait des architectes et urbanistes, lesquels, quoique ne pouvant pas tous être qualifiés de nationaux-socialistes fanatiques, se laissèrent, avec une naïveté plus ou moins grande, mettre au service d’une politique dont le dessein était loin d’être purement urbanistique.
À Château-Salins, Schwarz étudia méticuleusement l’état des lieux en matière de bâti ainsi que l’agencement typique du village lorrain. Quoique préconisant une intégration des espaces villageois traditionnels, les plans d’aménagement qu’il établit en 1941 (et qui ont été conservés) contredisaient ce souci et prévoyaient de modifier assez fortement la physionomie des villages.
En janvier 1942, Schwarz devint directeur de l’office d’aménagement de Thionville (Planungsstelle Diedenhofen), son champ d’action se déplaçant ainsi vers une région renfermant, outre quelques villages de campagne, principalement des localités industrielles, qui avaient, en raison des nécessités de la production de guerre, gardé en partie leurs populations d’origine, et comprenaient d’autre part de nombreux travailleurs de souche étrangère (« fremdstämmig »), dont les effectifs devaient encore s’accroître par la suite par l’arrivée de travailleurs obligatoires d’Europe de l’est. La politique de reconstruction et de repeuplement n’allait connaître un commencement de mise en œuvre qu’à partir de 1942-1943 ; les plans, qui en fait reprenaient ceux tracés dès après la guerre franco-prussienne et développés plus avant jusqu’en 1939, prévoyaient, selon les vœux de l’industrie, le réaménagement de la région en grand bassin industriel par la mise en place d’infrastructures adéquates et de zones résidentielles. La mission de Rudolf Schwarz se bornait à la création de logements, travail au cours duquel il s’appliquait à attacher aux sites industriels assainis les travailleurs lorrains de souche étrangère, tout en les tenant éloignés des zones d’habitation, plus généreusement pourvues, destinées aux travailleurs de souche allemande ; quant aux travailleurs forcés est-européens et les prisonniers de guerre, ils étaient simplement hébergés, à l’écart de la population locale, dans des cantonnements de masse. Dans le désaccord qui, au sein des autorités nazies chargées de la mise en œuvre de cette politique territoriale, existait entre ceux qui, comme le Gauleiter Josef Bürckel, estimaient qu’il fallait, pour élever un « rempart humain » de fermiers et de travailleurs, se laisser guider par la langue des Lorrains, et ceux qui, en particulier à la tête de la SS, nourrissaient une vision anthropologique raciale, et ne dédaigneraient pas le cas échéant d’inclure des Lorrains aryens francophones, Schwarz, manifestement, se rangeait aux conceptions racistes des SS, à telle enseigne qu’il lui prit de se plaindre de la présence dans son bassin industriel d’un ramassis de peuples (« völkischer Schutt »), que l’on avait jusqu’alors négligé d’examiner selon des critères raciaux ; les recensements qui prennent en compte l’appartenance linguistique aboutiraient, estimait-il, à un tableau entièrement faux du point de vue racial (« ein rassisch ganz falsches Bild »). En tout état de cause, il était prévu de remplacer progressivement les travailleurs de souche étrangère par des travailleurs de souche allemande en provenance de la Sarre allemande.
Après avoir préalablement procédé, auprès des administrations locales, à des relevés statistiques sur les besoins en logement et sur l’évolution démographique, et avoir interrogé les entreprises sur leurs projets de développement et sur les déplacements domicile-travail de leurs travailleurs, Schwarz élabora le concept nouveau d’une Aire urbaine de Thionville (« Stadtlandschaft Diedenhofen »). Prenant en considération que les mineurs parcouraient généralement de faibles distances, et que les ouvriers sidérurgistes venaient au contraire au travail d’assez loin, Schwarz projeta, au-dedans de son aire urbaine, à des distances entre un et quatre kilomètres des usines, de nouveaux noyaux d’habitation de 2500 habitants chacun, composés à 90% de maisons individuelles avec jardin, selon le concept de cité linéaire imaginé par Arturo Soria y Mata, concept qui fit l’objet de beaucoup de discussions jusque dans les années 1930, et avait été mis en application dans un certain nombre de villes soviétiques.
Après la dissolution du bureau d’aménagement de Thionville en juin 1943, Schwarz devint le directeur de la nouvelle Planungsstelle Metz, dont la compétence englobait son champ d’action précédent. Les plans d’aménagement qu’il élabora en 1943 pour six localités autour de Metz comportent, à l’instar de ses plans pour le Saulnois, des interventions importantes dans la structures des villages, traçant par exemple, dans tel village, en plein milieu de la localité, un ensemble de maisons ouvrières qui échouent visiblement à faire corps avec le reste ; cependant, de façon générale, il s’efforçait de concevoir ses plans en fonction d’une vision globale du village.
En 1943 et 1944, Schwarz établit également, selon les mêmes normes que pour Thionville, un plan de réaménagement pour le bassin houiller de St.-Avold et de Forbach, lequel plan ne fut plus exécuté.
En mars 1944, il se vit confier la direction de la Planungsstelle Saarbrücken, officine chargée de planifier la reconstruction de Sarrebruck, de Frankenthal et de Ludwigshafen.
Enrôlé dans la Wehrmacht en septembre 1944, il revint des camps de prisonniers en 1946.