Bien avant l'époque médiévale, l'endroit où se dresse aujourd'hui ce château a fait l'objet de constructions. Des découvertes archéologiques ont révélé la présence d'objets qui remontent à l'âge du bronze. Cela n'a rien d'étonnant quand on songe que l'endroit représentait une position stratégique et un verrou important pour surveiller l'entrée des deux vallées : le val de Villé et le val de Lièpvre.
L'origine exacte du château est inconnue, mais un ancien analyste, Daniel Specklin, affirme que c'est Clovis (Clodovig) roi des Francs qui construisit ce château vers le cinquième siècle lorsqu'il fit la conquête de l'Alsace. Il bâtit ce château sur un plateau qui domine les deux vallées de la Liepvrette et de Villé afin de s'assurer plus facilement le passage de ses troupes d'est en ouest. Il nomma ce château le « château de Frankenbourg » qui veut dire la forteresse des Francs (Burg der Franken). Il y bâtit une chapelle où Specklin dit avoir vu sur l'un des vitraux peints qui existaient encore de son temps les premières armoiries des Francs: trois crapauds de sables sur un champ d'argent. Selon la légende au cours de bataille de Tolbiac que de nombreux historiens situent au Kochersberg au nord-ouest de Strasbourg, Clovis avait promis à sa femme Clotilde qu'il se convertirait au Dieu des Chrétiens si celui-ci lui accordait la victoire. La tradition veut que cette promesse eût été prononcée au château de Frankenbourg. Après sa conversion au christianisme, Clovis aurait remplacé les trois crapauds, par trois fleurs de lys qui sont devenues ensuite les armes des rois de France. C'est dans la chapelle de ce château, dit la tradition, que l'épouse de Clovis, Sainte Clotilde a prié, pendant la bataille de Tolbiac, pour obtenir la victoire et la conversion de son mari. Dans la région a longtemps circulé une autre légende. Au pied de la montagne, du côté de Villé, il y a un village qui porte le nom de Bassemberg (la montagne de Basine), où la mère de Clovis, selon la tradition avait une demeure qu'elle habitait, pendant son séjour dans la contrée.
L'évocation de ce château est mentionné la première fois officiellement en 1123 sous le nom de Frankenbourg à travers une charte de l'empereur Henri IV. Ce château est aussi mentionné le 4 juillet 1153 lorsque Frédéric Ier vint visiter l'abbaye d'Erstein fondée par l'impératrice Ermengarde vers 849 village que son mari, l'empereur Lothaire Ier lui avait confié en 817. C'est à l'occasion d'un traité entre l'abbesse Bertha et le Margrave Hermann de Bade que Frédéric Ier auquel assiste Sigebert III de Werd, un allié des Hohenstaufen que le nom de Frankenbourg est évoqué. Il reçoit le titre de comte de Frankenbourg vers 1153 de Frédéric Barberousse. Il tenait probablement aussi ce château en fief de l'évêché de Strasbourg, dont il était devenu propriétaire en vertu d'une donation faite en 1061 par le Landgrave Hermann et sa femme Hilca. Vers 1336, Ulric de Werd, Landgrave d'Alsace le tint également en fief de ce même évêché et en 1351, les comtes Louis et Frédéric d'Oettigen le reçurent de l'empereur Charles IV. Les Werd prétendaient descendre du duc Etichon au même titre que les ducs de Lorraine. L'an 1411, l'évêché de Strasbourg auquel il appartenait, employa 1000 florins et en 1447, 2000 florins à sa reconstruction. À cette dernière époque il était occupé par les fils de Burcard de Lutzelstein dont les fils seront soumis à l'exil à cause des innombrables exactions qu'ils provoquent. En 1470 la ville de Sélestat nomma un châtelain chargé de surveiller le château en prévision d'une possible attaque des troupes bourguignonnes.
On connaît généralement en Alsace le château de Frankenbourg qui domine l'entrée des deux vallées de Lièpvre et de Villé, mais on ne connaît guère les comtes et le comté de ce nom. Si les historiens en font mention, ce n'est que sous le titre de comte de Werd que prit le dernier d'entre eux. Le nom de Frankenbourg est cité pour la première fois dans une charte de l'empereur Henri V, donnée à Strasbourg le 26 janvier 1123 pour le couvent d'Alpirsbach qui se trouve dans le Wurtemberg. Parmi les témoins de cet acte et à la suite des comte Hugo de Dagsbourg, Folmar de Hünebourg, Guillaume de Lützelbourg, Frédéric de Sarrebrück (Saraburc), nous rencontrons le comte Conrad de Frankenbourg (Franconeburc). Mais qui était ce Conrad ? Le manque de documents ne permet pas d'affiner cette question. Il est vraisemblablement apparenté aux comtes de Sarrebrück, qui étaient d'origine alsacienne. Le second en titre du nom de Frankenbourg qui est en possession du comté est le comte Sigebert. La première fois qu'on trouve le nom de Sigebert en Alsace est dans un document du 21 septembre 1109 de l'évêque Cunon de Strasbourg en faveur du prieuré de Saint-Léonard près de Börsch. Dans cette pièce, il est mentionné le comte Sigebert tout court. Or, ce Sigebert était comte de Sarrebruck, petit-fils du premier Sigebert connu, à qui Henri IV du Saint-Empire, sur la prière du duc de Lorraine, avait fait don en 1080 de Wadgassen dans le Sarregau. Ce Sigebert se trouvait être comme le duc Thierry et le duc Frédéric de Hohenstaufen du parti de l'empereur contre le pape. Ce Sigebert qui est comte dans le Sarregau en Franconie (région de Sarrebrück) possédait des biens du temps du comte Adalbert de Lorraine ou d'Alsace, frère de Gérard d'Alsace (ou Gérard Ier de Lorraine), de la branche lorraine des ducs ou comtes d'Alsace. On peut donc admettre qu'il est l'héritier direct ou indirect des comtes d'Alsace en Lorraine. L'un de ses deux fils, Winither, devint abbé de Lorsch, dont il conféra le plus riche bien à Brumath, en fief à son frère Sigehart ou Sigebert II de Sarrebrück. C'est de cette époque que date la prospérité de la famille. Les fils de Sigebert II sont bien connus dans l'histoire. Le plus célèbre, Adalbert, fut archevêque de Mayence (1111-1137) et chancelier de l'empire sous Henri V. Bruno devint abbé de Lorsch et en 1110 évêque de Spire, puis Sigebert III et Frédéric qui portent expressément le nom de comtes de Sarrebrück.
Ce comté, plus connu sous le nom de Comte-Ban, forme la partie sud du val de Villé la moins fertile parce qu'elle est adossée au versant nord des montagnes, qui séparent la vallée de Lièpvre de celle de Villé. Elle se compose des villages de Fouchy (anciennement appelé Grube), Breitenau, Neuve-Église (Neukirch), Hirtzelbach, Dieffenbach-au-Val et Neubois (Gereuth). Le Val de Villé pourrait avoir appartenu dans son ensemble à une seule et même famille. Selon la tradition cette famille pourrait être les descendants du duc Attich. On ignore complètement quand la séparation se fit. Mais d'après l'origine du nom du village Neukirch et de ce qui est connu du val, elle n'a pas dû avoir lieu avant le XIe siècle. Par suite de son exposition, le Comte-Ban n'a dû être livré à la culture et à l'exploitation que bien après le comté d'Ortemberg. On connaît les comtes d'Ortemberg au XIe siècle. Ce sont les fondateurs de l'abbaye de Honcourt. Leurs possessions furent transmises par suite de mariage au comte, puis à l'empereur Rodolphe de Habsbourg. Comme déjà signalé plus haut, le premier comte connu de Frankenbourg est un nommé Conrad en 1123. On ne sait pas s'il descendait des Ortembourg. Ou bien était-ce peut-être un petit fils de Hildegarde mère du premiers des Staufen, par le frère de ce dernier, Conrad déjà mort en 1095 ? Il est possible que sa sœur ou sa fille ait été l'épouse d'un comte de Sarrebrück, et ce dernier ne serait alors que Sigebert II.
Propriété des Comtes de Werd, il devient en 1232 un fief de l'église de Strasbourg.
En 1359, l'évêque de Strasbourg racheta les terres et le château du Frankenbourg et confie l'administration aux Comtes de Lénange vassaux de l'église de Strasbourg, qui devient ainsi Landgrave de la basse-Alsace. Mais devant les difficultés financières, il dut se dessaisir d'une importante partie des biens qu'il avait accumulé, dont le château et les villages de Fouchy, Breitenau, Hirtzelbach, Dieffenbach-au-Val, Neubois et Neuve-Église et plus tard aussi Châtenois. Ce sont les chanoines du Grand Chapitre de la Cathédrale de Strasbourg et de la ville de Sélestat qui se portèrent acquéreurs. La transaction se fit le 25 octobre 1462 pour une somme de 8002 florins. Le grand chapitre de la cathédrale de Strasbourg prenait une option pour 2000 florins, la ville de Sélestat apportait 4000 florins et deux frères, Jacques et Bernard Wurmser mettaient en commun 2000 florins. En 1483 le chapitre de la cathédrale de Strasbourg racheta le vaste patrimoine immobilier et forestier du Frankenbourg et devenait ainsi le véritable maître du Comte-Ban jusqu'à la Révolution.
Le château fut détruit par un incendie provoqué par la foudre en 1582. Il fut classé monument historique dans sa totalité le 6 décembre 1896, mais l'enceinte protohistorique ne le fut que le 10 septembre 1990.
On raconte dans la vallée qu'entre 1870 et 1873 la Sainte-Vierge serait apparue sur le sentier où se trouve aujourd'hui un chemin de croix, une chapelle et une source, dans le district forestier de Neubois, non loin du château du Frankenbourg. Elle y serait apparue une centaine de fois devant des milliers de personnes venant parfois de très loin.