L'église est dédiée à saint Jacques.
L'église (XII au XVI siècles) relève des styles flamboyant et Renaissance : commencée dès le XII siècle, l’église Saint-Jacques est érigée en paroisse en 1282 par Guillaume de Flavacourt archevêque de Rouen. Les transepts nord et sud remontent à la seconde moitié du XII siècle. Le chœur, la nef, et les bas-côtés datent du XIII siècle, exceptés les voutes et le triforium de la nef qui date du XIV siècle. C’est également au XIV siècle qu’est construit le grand portail. Au XV siècle sont élevées la tour et les chapelles situées de part et d'autre de la grande nef du chœur, sauf deux d'entre elles qui faisaient partie du plan primitif de l'église. À l'intérieur, la chapelle du Trésor est décorée d'une frise dite « des sauvages » qui révèle les diverses nations découvertes par les navigateurs et marins dieppois. À la demande de Jehan Ango, mécène de l’église au XVI siècle, l’artiste a représenté différentes scènes de la vie des indigènes : un cortège de fêtes et de danses, des épisodes guerriers, que de nombreux archéologues et savants sont venus observer. Victor Hugo est également venu voir ces véritables dentelles de pierre, le 8 septembre 1837.
L'édifice fait l'objet d'un classement au titre des monuments historiques depuis 1840.