Les débuts de l'histoire des Juifs à Besançon remontent au Moyen Âge, période durant laquelle les Juifs s'installent dans la ville attirés par sa situation de place commerciale. Fondée à la fin du XIV siècle, la communauté édifiera son premier cimetière certainement à cette époque, dans le lieu-dit de Calmoutier, dans l'actuel quartier de Montrapon-Fontaine-Écu. Pour des raisons encore inconnues, le site du cimetière de Calmoutier sera finalement vendu par la municipalité en 1465, et il faudra attendre l'après Révolution française, en raison de l'expulsion des Juifs de la ville, pour qu'un nouveau cimetière israélite soit construit dans la capitale comtoise.
C'est à la fin du XVIII siècle, au retour des Juifs à Besançon, qu'un nouveau cimetière fait son apparition rue Anne Frank, entre le quartier de Bregille et le contrebas de Palente, au nord-est de la ville. La partie la plus ancienne du cimetière fut obtenue par deux notables de la communauté juive de Besançon en 1796 : Nathan Lippmann et Pierre Picard. Ils devaient acquérir une propriété à proximité de la ville, où la population juive pourrait enterrer ses morts librement. En 1839 une parcelle supplémentaire est ajoutée et au même moment le Consistoire Israélite de Besançon tente d'obtenir un terrain adjacent pour y construire une maison de gardien.
Les plus anciens tombeaux, qui sont souvent les plus modestes, datent de 1849 bien que le cimetière accueille encore actuellement de nouvelles sépultures. Le site comporte d'imposants caveaux appartenant aux riches familles Veil-Picard, Picard, Hauser-Picard ainsi qu'un mausolée appartenant à la famille Haas. Les sépultures les plus récentes éclairent sur les nouvelles migrations ; les patronymes séfarades (Afrique du Nord) se mêlent aux noms d'origine ashkénaze (Europe occidentale et centrale). Le cimetière comprend également un monument aux morts, érigé à la mémoire des membres de la communauté juive bisontine tués au combat durant la Première Guerre mondiale. Aujourd'hui le cimetière accueille entre 500 et 1 000 tombes, sur une superficie d'environ 700 mètres².
