Le palais est situé sur la « pointe du Sérail » (Sarayburnu), un promontoire donnant sur la Corne d'Or et la mer de Marmara, avec de nombreux points de vue sur le Bosphore. Cette hauteur qui commande le détroit était l'acropole de l'ancienne ville grecque de Byzance. Une citerne byzantine, sous la seconde cour, a été utilisée tout au long de l'époque ottomane. Des fouilles y ont été menées, ainsi que sur les vestiges d'une petite église appelée « basilique du palais ». L'église Sainte-Irène, bien que située dans la première cour, n'est pas considérée comme faisant partie de l'ancienne acropole byzantine.
Après la conquête ottomane et la Chute de Constantinople en 1453, le sultan Mehmed II trouve le Grand Palais impérial byzantin de Constantinople en grande partie ruiné.
La Cour ottomane s'installe d'abord dans le « Vieux Palais » (Eski Sarayı) (qui deviendra au XXe siècle le site de l'Université d'Istanbul). Le sultan recherche un meilleur emplacement, et choisit l'ancienne acropole byzantine. Il ordonne en 1459 la construction d'un « Nouveau Palais » (Yeni Sarayı). Il ne reçoit le nom de Topkapı qu'au XIXe siècle.
Le sultan Mehmed II lui-même crée la disposition de base du palais. Il choisit le point le plus élevé du promontoire pour ses appartements. C'est à partir de ce noyau privé que commencent à s'édifier les autres pavillons, depuis le promontoire vers les rives du Bosphore. L'ensemble du complexe est entouré de hauts murs, dont certains remontent à l'acropole byzantine. Ce schéma de base continue à régir les futures rénovations et extensions.
Selon le témoignage de l'historien contemporain Kritovolous d'Imbros, le sultan :
« [...] prit soin de convoquer les meilleurs ouvriers de toutes parts - maçons, tailleurs de pierre, charpentiers [...]. Il voulait construire de grands édifices qui devaient être utiles et devaient, à tous égards, rivaliser avec les plus grandes et les meilleures réalisations du passé. Pour cette raison, il veillait à ce qu'on accordât le plus grand soin à la supervision du travail et à la qualité des matériaux de toutes sortes, et il était également préoccupé par toutes les dépenses que cela occasionnait. »
Les témoignages diffèrent sur les dates de début et d'achèvement de la construction du noyau central : Kritovolous donne les dates de 1459-1465, alors que d'autres sources suggèrent une date d'achèvement proche de la fin des années 1460.
Contrairement à d'autres résidences royales qui ont des plans très stricts (comme le château de Schönbrunn ou le château de Versailles), le palais de Topkapı se développe au cours des siècles, avec des ajouts et des changements opérés par différents sultans. L'asymétrie de l'ensemble résulte de cette croissance erratique et de ces modifications accumulées, bien que le projet de Mehmed II ait toujours été préservé.
La plupart des changements ont lieu durant le règne du sultan Soliman, dans les années 1520-1560. Avec l'expansion rapide de l'Empire ottoman, Soliman veut que sa résidence soit le reflet de sa puissance et de sa gloire. De nouveaux bâtiments sont construits, d'autres agrandis, sous la responsabilité de l'architecte en chef de cette période, le persan Alaüddin, également connu sous le nom d'Acem Ali. Il est aussi le responsable de l'extension du harem.
En 1574, quand un grand incendie détruit les cuisines, Sinan est chargé par le sultan Selim II de la reconstruction des parties détruites, qu'il agrandit, ainsi que le harem, les bains, le salon privé et divers pavillons annexes. À la fin du XVIe siècle, le palais a acquis son aspect actuel.
Le palais est un vaste complexe constitué d'un ensemble de bâtiments de faible hauteur disposés autour de cours intérieures et reliés par des galeries et des passages. Les bâtiments ne dépassent pas deux étages. Ils sont parsemés d'arbres, de jardins et de fontaines. La vie s'organisait autour de ces bâtiments et de ces cours, dans une atmosphère ouverte, et agréablement fraîche en été.
Le palais, vu du ciel, forme approximativement un rectangle divisé entre les quatre grandes cours et le harem. L'axe principal va du sud vers le nord, partant de la première cour et rejoignant les autres successivement vers le nord. La première cour était la plus accessible, tandis que la plus éloignée (la quatrième) et la cour du harem étaient les plus secrètes, le domaine du seul sultan. La cinquième cour se trouve en bordure extérieure du palais sur des terrains proches du rivage. L'accès à ces cours est limité par de hauts murs et contrôlé par des portes successives. Outre les quatre ou les cinq cours principales, de nombreuses autres cours, moyennes ou petites, sont disséminées dans tout le complexe. L'ensemble couvre une surface entre 592 600 mètres carrés et 700 000 mètres carrés, selon les éléments pris en compte.
Les côtés sud et ouest sont bordés par le grand parc floral du sultan, de nos jours le « parc de Gülhane ». Au sud et à l'est s'étend la mer de Marmara. Divers bâtiments annexes comme les petits palais d'été (kasrı), les pavillons, les kiosques (köşkü) et autres structures pour l'agrément et l'administration existaient autrefois sur la rive, dans la zone appelée « cinquième place ». Ils ont disparu au cours du temps, négligés, ou supprimés lors de la construction de la ligne de chemin de fer littorale au XIXe siècle. Un dernier kiosque subsiste en bord de mer : le « kiosque des Vanniers » (Sepetçiler Kasrı), construit en 1592 par le Sultan Murad III. Tout ceci explique que la superficie totale du palais de Topkapı était plus importante qu'aujourd'hui.
Le palais de Topkapı était la résidence principale du sultan et de sa cour ; il était aussi le siège officiel du gouvernement. Son accès était strictement réglementé, mais ses habitants avaient rarement à en sortir, car le palais était presque autonome, une ville dans la ville. Les salles d'audiences et les espaces de conférences servaient aussi aux questions liées à l'administration politique de l'empire. Pour les résidents comme pour les hôtes, le palais disposait de son propre approvisionnement en eau grâce aux citernes et les grandes cuisines fournissaient les repas. La cour disposait de dortoirs, jardins, bibliothèques, écoles, même de mosquées.
Un cérémonial très strict était suivi afin d'assurer l'isolement du souverain du reste du monde. Le principe de cet isolement impérial est certainement un héritage des traditions de la cour byzantine. Il a été codifié par Mehmed II en 1477 et 1481 dans le code Kanunname, qui régissait la préséance des fonctionnaires de la cour, la hiérarchie administrative et les questions de protocole. Ce principe de l'isolement, qui n'a fait que se renforcer, s'est traduit dans le style et l'arrangement des salles et des bâtiments. Les architectes veillaient à ce que, même dans le palais, le sultan et sa famille puissent bénéficier du maximum d'intimité, ce qui conduisait au recours à des fenêtres grillagées et à d'innombrables passages secrets.