L'histoire de la construction de ce canal est basée sur deux éléments : la rivière de Munter Ee et la lutte constante des habitants de cette région contre les eaux. La source du Munter Ee se trouvait non loin de Wildervank, d'où son cours allait en sinuant vers Termunten, pour s'y jeter dans l'embouchure de l'Ems.
À la fin du Moyen Âge, des moines ont creusé un fossé parallèlement au Munter Ee, ils ont construit une digue et asséché les terres adjacentes. Pour maîtriser le Munter Ee, ils y établirent quatre écluses, cependant en 1509, une inondation causée par le Dollard n'en fit qu'une bouchée. L'homme continua sa lutte, et en 1597 fut achevée la digue entre Scheemda et Nieuwolda. En 1601, on décida la construction d'écluses à Termunterzijl (sur le Dollard) et à Kermerzijl (près de Scheemda) ainsi que la construction d'un canal pour l'évacuation des eaux. Le 25 novembre 1601, un ancêtre des agences de l'eau actuels fut créé, le Termunterzijlvest.
À l'origine du nouveau canal (diep) fut le fossé derrière la digue de 1597 ; le fossé fut approfondi et la digue augmentée. On suivait le fossé jusqu'à Nieuwolda, d'où on devait joindre le lieu-dit Scheve Klap pour relier le nouveau canal à la Siepe, une petite rivière naissant près de Sappemeer, et qui pouvait faire fonction d'évacuation des eaux en amont. Entre Nieuwolda et Scheve Klap, on a alors construit une nouvelle voie d'eau toute droite, sur deux kilomètres. Cela explique pourquoi le Termunterzijldiep a un cours plutôt sinueux partout sauf à cet endroit.