Le City College était à l'origine situé au sud de Manhattan, dans le Free Academy Building, qui abrita l'établissement de 1849 à 1907. Le bâtiment, œuvre de James Renwick Jr, était situé à l'intersection de Lexington Avenue et de la 23e rue. Selon certaines sources, il s'agit du premier bâtiment d'enseignement supérieur de la côte est à avoir été construit dans un style néogothique.
Commencée en 1903, la construction du nouveau campus fut achevée en 1906, année au cours de laquelle il fut inauguré, à son emplacement actuel, au nord de Manhattan, dans le quartier de Manhattanville, près de Harlem. Sur le site Web du CCNY, le campus est évoqué en ces termes : « Les bâtiments néogothiques reconnus comme landmarks composant le quadrangle du campus nord ont été imaginés par le célèbre architecte George Browne Post. Ils constituent un remarquable exemple d'architecture gothique perpendiculaire de style anglais, et comptent parmi les tout premiers bâtiments de ce style à avoir été construits aux États-Unis pour un campus dans son ensemble. »
Le campus originel était composé de cinq bâtiments, qui ouvrirent tous leurs portes en 1906 :
Le sixième bâtiment du campus, le Goethals Hall — ainsi nommé en hommage à George Goethals, ancien élève du CCNY, célèbre ingénieur ayant supervisé la construction du canal de Panamá — ouvrit ses portes en 1930. Le bâtiment abritait la School of Technology (école d'ingénieurs), annexe du Compton Hall.
Aucune bibliothèque n'ayant été prévue dans les plans originels de 1906, la première à avoir été construite sur le campus dans un bâtiment spécialement prévu à cet effet date de 1937 : il s'agissait de la Bowker/Alumni Library, située sur les lieux de l'actuel Steinman Engineering Building, qui prit sa place en 1957.
En 1953, le campus s'étendit au sud grâce à l'acquisition du Manhattanville College of the Sacred Heart (College du Sacré-Cœur de Manhattanville) qui, sur les cartes de 1913, apparaissait encore sous le nom de « couvent du Sacré-Cœur ». Le campus engloba alors de nombreux bâtiments situés entre la 130e et la 140e rue, Amsterdam Avenue à l'ouest et St. Nicholas Terrace à l'est. Lors de leur intégration au campus du CCNY, les anciens bâtiments du Manhattanville College furent rebaptisés : Stieglitz Hall, Downer Hall, Wagner Hall, Eisner Hall, Park Gym et Mott Hall, entre autres.
Une fois les premiers bâtiments construits au début du XXe siècle, le président du CCNY, John H. Finley, souhaitait ardemment intégrer un stade dans l'enceinte de son campus, afin de fournir aux sportifs de son établissement des infrastructures de qualité. La ville n'offrit aucun fonds pour la construction du stade mais elle fit don de deux blocks au sud du campus, qui étaient alors alloués à la construction de parcs. John Finley apprit ensuite que l'homme d'affaires et philanthrope Adolph Lewisohn était prêt à financer le projet. Les premiers plans furent ainsi établis en 1912, après que Lewisohn accepta de faire un don de 75 000 dollars. Finley fit alors appel à l'architecte Arnold W. Brunner pour réaliser le projet, qui fut inspiré par les souvenirs que Finley avait d'un petit théâtre taillé dans la roche qui était situé dans le quartier du Trastevere à Rome.
Le stade avait une capacité de 6 000 places assises, chiffre qui pouvait être augmenté lors d'événements qui ne nécessitaient pas la totalité du terrain central. Il fut inauguré le 29 mai 1915, soit deux ans après la fin du mandat du Dr. Finley, qui avait cédé sa place à Sidney Edward Mezes. L'inauguration du stade se fit par une représentation des Troyennes du tragique grec Euripide, sous la direction de Granville Barker et Lillian McCarthy.
Le Lewisohn Stadium sera néanmoins détruit en 1973, pour cèder la place à l'actuel North Academic Center (NAC), dont la construction fut achevée en 1984.
Le Steinman Hall, qui abrite l'école d'ingénieurs, fut construit en 1962 sur le site de l'ancienne bibliothèque Bowker Library et du Drill Hall, pour remplacer les infrastructures déjà présentes dans le Compton Hall et le Goethals Hall. Il fut ainsi nommé en hommage à David B. Steinman, ingénieur civil diplômé en 1906.
En 1963, le bâtiment administratif fut à son tour érigé au nord du campus, en face du Wingate Hall. Il abrite les bureaux administratifs de l'établissement, notamment ceux du président et du doyen. Il était en outre au départ destiné à servir de bâtiment d'archives pour les nombreux dossiers de tous les étudiants ayant fréquenté le CCNY depuis son ouverture en 1847. Depuis 2007, l'immeuble porte le nom de Howard E. Wille Administration Building, en l'honneur du philanthrope Howard E. Wille, ancien élève diplômé en 1955.
En 1971, fut construit le Marshak Science Building, ainsi nommé en hommage à Robert Marshak, président du CCNY de 1970 à 1979 et physicien renommé. Le bâtiment abrite non seulement l'ensemble des infrastructures consacrées aux sciences, c'est-à-dire les laboratoires, mais aussi des installations sportives faisant partie du Mahoney Gymnasium, parmi lesquelles une piscine et des courts de tennis.
Par la suite, de nombreux bâtiments furent détruits au nord et au sud du campus, tandis que de nouvelles infrastructures les remplacèrent, notamment le North Academic Center (NAC), dont la construction fut achevée en 1984, qui abrite des milliers de salles de classe, ainsi que des cafétérias, des bibliothèques et des salles de repos, entre autres.