Avant de prendre sa position dans le NID, Woolsey était avocat pour le Corps des ingénieurs de l'armée des États-Unis et ensuite pour le Defense Policy Board. Il a un M.B.A. et un LL.B de Harvard. Woolsey a également exercé les métiers de juristes et de comptable avant d'être directeur de diverses agences. On ne connait pas grand chose de sa vie de famille, à part qu'il fut marié sans enfant et qu'il avait un Yorkshire qu'il adorait mais emporté par sa femme lors de leur divorce, et qu'il avait un père atteint de la maladie d'Alzheimer.
Il est décrit par Robert Picardo, son interprète, comme un "homme dur", un "observateur extérieur" envoyé pour blâmer. Il le décrit aussi comme le "bureaucrate ultime" mais plus attachant que Dick Cheney