William Allen épouse en 1796 Mary Hamilton, qui meurt deux jours après la naissance de leur fille aussi prénommée Mary. Remariage avec Charlotte Hanbury en 1806, qui vient d'une importante famille quaker. Charlotte meurt à Genève pendant un voyage en 1816. En 1823, c'est la fille de Allen, Mary, qui meurt aussi en suite de couches. Allen épouse en 1827 en troisièmes noces Grizell Birbeck, une quaker veuve et âgée, ce qui donne lieu à des commentaires et à un dessin satyrique.