Suite à la guerre de 1870, Strasbourg, à présent allemande, se pose rapidement la question de l'accueil de l'Empereur. Se voulant le symbole de la puissance impériale, un bâtiment digne de la magnificence du souverain s'impose. Après de longs et houleux débats, le choix est fixé sur un édifice carré, de style néorenaissance, librement inspiré du Palais Pitti de Florence.
Les travaux débutent en l'honneur du 87e anniversaire de l'Empereur Guillaume Ier de Hohenzollern et mettront près de cinq ans avant d'être totalement achevés. Durant toute la durée du chantier, de nombreuses voix s'élèveront pour critiquer la nécessité et l'utilisation du bâtiment, son apparence « massive et éléphantesque » ou encore son prix exorbitant (3 millions de marks or).
Inauguré par Guillaume II de Hohenzollern en août 1889, le palais accueillera l'Empereur à une dizaine de reprises jusqu'en 1914.
Pendant la Première Guerre mondiale, l'édifice est reconverti en hôpital militaire et, en 1920, le bâtiment adopte son nom actuel, lors de l'emménagement de la plus ancienne des institutions européennes : la Commission Centrale pour la Navigation du Rhin.
En 1923, le palais passe aux mains de l'État français et accueille le service des Beaux-Arts et le mobilier national d'Alsace-Lorraine.
Transformé en Kommandantur par les nazis de 1940 à 1945, l'édifice est repris par les troupes de Leclerc qui le transforme en quartier général. C'est là que le futur maréchal rédige sa « proclamation annonçant la réalisation du serment de Koufra ».
Menacé de destruction dans les années 1945, le Palais du Rhin, classé monument historique depuis 1993, accueille désormais la Commission centrale pour la navigation du Rhin et la Direction régionale des Affaires culturelles (DRAC).