Le projet a commencé en 1991 lorsque David Wexelblat, Glenn Lai, David Dawes et Jim Tsillas ont joint leurs forces pour corriger les différents bugs de l'implémentation libre X11 X386 (développé par Thomas Roell). Cette version fut initialement appelée X386 1.2.
Thomas Roell décida ensuite de vendre les nouvelles versions sous le nom Accelerated-X, les quatre développeurs ont donc décidé de créer un fork de manière à continuer de fournir une implémentation libre.
Le 1 octobre 2001, XFree86 supportait les spécifications de X11R6.5.1, incluant notamment GLX et les extensions Render.
La version 4.4, sortie en février 2004, a vu sa licence changée. Ce changement fut très controversé et aboutit à la décision de nombreuses distributions de Linux de migrer vers X.Org (un fork de XFree86, réalisé juste avant le changement de licence).
On pourrait dire, malgré les rares mises à jour de XFree86, que le projet totalement libre X.Org a en quelque sorte "tué" XFree86.