De la fondation de cette église, on ne sait pratiquement rien, puisque, à ce jour, aucun document écrit mentionnant la date de construction n'a été découvert. En effet, ce n'est qu'en 1332 que l'église Saint-Sépulcre fut mentionnée dans le Livre rouge de l'Échevinage, sans pour autant décrire l'état de l'édifice.
Une tradition rapporte qu'elle a été fondée en souvenir du rassemblement des Croisés du nord par Godefroy de Bouillon à Abbeville. À la fin de la Guerre de Cent ans, l'église Saint-Sépulcre est reconstruite, dans le style gothique flamboyant. Les architectes préférèrent voûter le chœur.
En 1863, vu le très mauvais état de l'église, d'importants travaux de restauration furent entrepris. Quarante-quatre ans plus tard, elle est classée Monument historique.
En 1945, les vitraux disparaissent. Le dimanche 2 avril 1989, Alfred Manessier inaugure les magnifiques vitraux qui ornent aujourd'hui l'église.