Le bâtiment, en plus d'être un exemple de construction précise, est également un bâtiment plein de symbolisme, qui a passionné de nombreux chercheurs.
L'octogone, sur lequel se fonde le plan de l'ensemble et de ses composantes, est une forme géométrique hautement symbolique : c'est la figure géométrique intermédiaire entre le carré, symbole de la terre, et le cercle, qui représente l'infinité du ciel, et marque le passage de l'un à l'autre.
Le choix de l'octogone pourrait provenir du Dôme du Rocher à Jérusalem, que Frédéric II avait pu voir au cours de la sixième croisade, ou de la Chapelle Palatine à Aix-la-Chapelle.
L'ensemble du bâtiment est plein de symboles astrologiques forts, et sa position est conçue de telle sorte que le jour des équinoxes et des solstices, les ombres portées par les murs aient un sens particulier. À midi de l'équinoxe d'automne, par exemple, l'ombre des murs atteint très exactement la longueur de la cour intérieure, et un mois exactement après, elle couvre la totalité de la longueur des pièces.
« Le soleil est le véritable architecte de Castel Del Monte qui est comme un livre de pierre. Ainsi en certains points, quand le soleil se lève et se couche à la date des solstices d'hiver et d'été, (les 21 mars et 23 septembre) l'ombre détermine alors un rectangle de proportions divines qui correspondent au nombre d'or obtenu par de savants calculs qui avaient fait l'objet d'études de la part du mathématicien Léonardo di Pisa, dit Fibonacci, lors de l'édification des cathédrales gothiques. »
Deux fois par an (le 8 avril et le 8 octobre, qui était à l'époque compté comme le huitième mois de l'année), un rayon de soleil pénètre par la fenêtre dans le mur sud-est et, en traversant la fenêtre de la cour intérieure, éclaire une partie du mur avant, où est sculpté un bas-relief.
« C'est alors que le premier rayon du soleil pénètre par la fenêtre du premier étage, traverse la salle, et sort par la fenêtre d'en face pour aller se poser sur un cadre rectangulaire du mur devant lequel, à une époquee, se trouvait un bas-relief qui représentait une femme vêtue à la grecque, et qui recevait l'hommage d'un chevalier servant. On est tenté d'y voir Dame Terre, que son époux, le soleil, embrasse et féconde. »
Les deux colonnes qui encadrent le portail d'entrée sont surmontées chacune d'un lion accroupi. Celui de droite regarde à gauche, et vice-versa ; leur regard est tourné vers le point de l'horizon où le soleil se lève lors du solstice d'été, pour celui de gauche, et lors du solstice d'hiver, pour celui de droite.
On peut remarquer une autre particularité de l'édifice : les cinq réservoirs d'eau présents dans les tours sont connectés, idéalement, aux cinq cheminées intérieures. Certains ont mis en relation cette configuration avec les paroles de l'Évangile selon Luc : « Moi, je vous baptise avec l'eau; (...) lui, il vous baptisera dans l'Esprit-Saint et le feu. », accréditant ainsi l'idée que le bâtiment a été utilisé comme une sorte de temple.
Il a été noté que la construction, vue de loin, ressemble à une couronne, et en particulier, à celle, également octogonale, dont Frédéric II était couronné lui-même.
Les hautes murailles de la cour intérieure évoquent l'idée d'être à l'intérieur d'un puits, ce qui dans la symbolique médiévale représente la connaissance.
