Opposant décidé à l'esclavage, il publie des articles puis des livres, travaille à convaincre les quakers de Philadelphie d'affranchir leurs esclaves, s'adresse directement aux puissants – à la manière quaker – dont l'archevêque de Cantorbéry. Son pamphlet Some Historical Account of Guinea, écrit en 1771, a une grande influence autant aux États-Unis qu'en Europe. En 1775, il fonde avec d'autres quakers et des membres de diverses Églises protestantes une Société de secours aux nègres libres illégalement maintenus en servitude. Il prépara le terrain pour les abolitionnistes, mais fut lui-même pragmatique et ne demanda pas immédiatement l'affranchissement général des esclaves. Il travailla à des libérations individuelles et à l'amélioration de leurs conditions de vie.
Pacifiste, il écrivit en 1776 des Pensées sur la nature de la guerre et s'adressa aux souverains.
En 1756, il fonde une Association amicale pour rétablir et maintenir la paix avec les Indiens par des mesures pacifiques. Il intervient en 1763 alors qu'une campagne contre les indiens est préparée à New York. Il lutte contre l'alcoolisme.
Il participa également à l'accueil des acadiens déportés, et relaya leurs plaintes auprès du roi d'Angleterre.