La forteresse de Smederevo est une construction massive de style byzantin, modelée sur la forteresse de Constantinople. Bien que ses fondations n'aient pas été destinées à être submergées, elle est considérée comme une forteresse à douves étant donné qu'elle est entourée d'eau. Après sa construction, son importance militaire déclina et peu de modifications lui furent apportées, ce qui lui permit de conserver son style architectural initial.
La forteresse est encerclée par 1,5 kilomètres de murs crénelés d'une épaisseur de 2 mètres et 25 tours de 25 mètres de haut. Deux de ses côtés bordent le Danube et la Jezava, si ce n'est qu'aujourd'hui la Jezava a été légèrement détournée et s'écoule un peu à l'écart des murs. Le troisième côté possède deux fossés qui furent ajoutés au système défensif, un pour la petite ville, l'autre pour le faubourg. La zone sud des murs extérieurs est resté ouverte.
La construction de la forteresse s'est déroulée en quatre phases principales. La première phase, qui correspond à l'édification du manoir de Đurađ Branković bâti au confluent du Danube et de la Jezava, débuta à l'automne 1428.
Sous la suveillance de George Kantakouzenos, l'ainé des frères de Jerina Branković, furent collectés du bois, de la chaux et des pierres de construction provenant des anciennes cités romaines de Mons Aureus (correspondant au village actuel de Seone, à l'ouest de Smederevo), Margum (à l'embouchure de la Morava) et Viminacium. Au printemps 1429, des ouvriers venus de Grèce et de la République de Raguse débutèrent le briquetage. En 1430, le manoir était achevé. Il comprenait un palais, qui s'étendait le long du mur bordant la fosse, une salle du trône, opposé à la muraille côté Danube, un donjon (en serbe : Donžon kula), dans l'angle formé par les murailles, une trésorerie, dans une chambre haute et d'autres bâtiments annexes, le tout formant une véritable petite ville.
La salle du trône, où Branković recevait ses visiteurs, comprenait quatre double fenêtres en arche dessinées dans un style roman et gothique. Le donjon quant à lui constituait la dernière ligne de défense. Il fut construit avec des murs de 4 mètres d'épaisseur et hébergeait la noblesse durant les attaques turques. Des portes secrètes furent incluses dans la muraille bordant la Jezava ouvrant ainsi un passage vers la Hongrie.
Les neuf années suivantes furent utilisées pour agrandir les fortifications afin d'inclure un plus grand faubourg. Le faubourg comptait une église construite au XVe siècle siècle et un bain turc ajouté par les Ottomans au XVIIe siècle. Une barrière relevable dans la muraille côté Danube permettait aux navigateurs de pénétrer dans la forteresse. Peu d'informations nous sont parvenues sur les autres bâtiments, résidentiels ou autres.
Entre 1460 et 1480, la forteresse étant alors une possession ottomane, un imposant système défensif fut construit incluant des escarpements, des murailles basses et des tours supplémentaires. Durant la première moitié du XVIIIe siècle, des tranchées fortifiées furent ajoutées aux défenses.
L'état de détérioration de la forteresse varie sensiblement. La krstata kula est par exemple relativement bien conservée tandis que certaines sections des murailles, qui n'ont jamais été rénovées, se sont effondrées par endroits. Un barrage construit en 1972 au niveau des Portes de Fer, en aval du Danube, éleva le niveau d'eau du bassin du Danube, ce qui causa d'importantes inondations. En conséquence, un système de digues fut construit entre 1970 et 1980 afin de protéger la forteresse et la ville de la montée des eaux. Cependant les inondations de 2006 touchèrent de nouveau la région.
La forteresse a été l'objet d'un dispositif de restauration et de conservation étayé par des recherches archéologiques et architecturales, ce depuis les années 1970. La majorité du travail s'est déroulée entre 1970 et 1995. Alors que certaines parties ont déjà été restaurées, d'autres n'ont bénéficié que d'un travail de conservation et restent en piteux état. Dans la petite ville, il ne reste du palais que les fondations qui ressortent de terre et quelques traces sur le sol témoignant de l'ancien emplacement de la salle de réception. Ces vestiges ont été partiellement restaurés et demeurent dans un état stable. Des tâches d'entretin sont continuellement effectués comme le désherbage. Parmi les tours environnantes certaines se sont effondrées, les autres sont en attente de rénovation. La restauration de la ville fut suivie d'une mission archéologique en 1994-1995.
Le faubourg fortifié est en assez mauvais état. Des sections de la muraille sont manquantes et plusieurs tours penchent dangereusement ou se sont effondrées. La tour située derrière la tour portant une inscription turque, la muraille le long du Danube et la muraille sud ont toutes bénéficié d'un travail de conservation sommaire. La majorité du temps ayant été dépensé en fouilles et recherches archéologiques, principalement sur les sites de l'église et du bain turc. La façade le long du Danube, qui s'est effondrée à plusieurs reprises, a été restaurée et est aujourd'hui en bonne état. Sur les autres flancs, plusieurs sections de murailles ont disparu ou gisent sur le sol, leur état global est inconnu. Excepté du côté du Danube, les flancs de la forteresse sont cernés par les constructions modernes, une marina côté est, un chemin de fer au sud et toutes sortes d'autres infrastructures.
Le projet final se fixe pour mission la réhabilitation de la forteresse et de son environnement immédiat. En conséquence il est prévu que le chemin de fer soit détourné. Entre 2003 et 2004, le coût du travail de conservation fut estimé à 10 600 000 € tandis que le coût total de réhabilitation incluant la conservation, la restauration et la recherche était estimé à 22 millions d'euros. En 2005, les coûts combinés de conservation et de recherche sont tombés à 4 millions d'euros.
Malgré les efforts entrepris, la pérennité de la forteresse est menacée, tant par des causes naturelles que par les activités humaines. La brusque montée des eaux résultant de la construction du barrage aux Portes de Fer menace sa stabilité et a engendré des inondations à répétition, surtout avant la consolidation des digues. La pollution atmosphérique et la végétation environnante accélèrent l'effritement des pierres. L'empiètement des structures urbaines, comme la ligne de chemin de fer, défigure le paysage. Le tourisme, en nette progression, combiné à des systèmes de protection et de maintenance inadaptés en raison des moyens financiers concourent à la lente détérioration de la forteresse.