OpenDocument représente le premier effort de normalisation des formats de fichier de la bureautique, si l'on met de côté la spécification Open Document Architecture (élaborée à partir de 1985 mais jamais réellement mise en œuvre sur le marché), chaque application bureautique ayant auparavant son format propre non interopérable. Un format ouvert pour la bureautique fait partie intégrante d'une stratégie de fourniture logicielle. Tim Bray utilise toujours la même image dans ses présentations : il pose la question « Qui d'entre vous est sûr de posséder des documents auxquels il pourra accéder dans dix ans ? », puis « Qui d'entre vous est sûr d'utiliser la même application bureautique dans dix ans ? ». Comme il reçoit beaucoup de réponses affirmatives à la première question, et peu à la seconde, il continue en disant « Bien, donc je vais vous parler d'OpenDocument… »
OpenDocument trouve son origine dans le format XML utilisé pendant plusieurs années par Sun Microsystems pour les versions 1.x.x d'OpenOffice. À ce stade, ce format n'est pas plus ouvert qu'un autre. Lorsque David Faure, pour l'avancement du projet KOffice, annonce sa volonté de coopérer au sein de l'Organization for the Advancement of Structured Information Standards (OASIS), en vue d'en faire un format ouvert apte à être utilisé par toute application bureautique, il est rejoint par des « poids lourds » de l'édition de logiciels informatiques comme Adobe Systems, Corel, IBM et Google. Le comité ainsi constitué est renseigné sur les besoins des utilisateurs par de grands clients tels que Boeing, Intel, le National Archive of Australia, le New York State Office of the Attorney General ou la Society of Biblical Literature. Cet accord démontre une certaine lassitude, tant de la part des clients que des informaticiens, face aux formats fermés.
En mai 2005, la version 1.0 de la spécification d'OpenDocument est approuvée par le comité de normalisation de l'OASIS, et est disponible librement en téléchargement et est implémentable gratuitement par tous, comme le précisent les termes de la licence.
Bien qu'OASIS ait changé sa politique pour autoriser les techniques sous brevets RAND dans ses normes, le groupe de travail OASIS OpenDocument, pour sa part, est resté à l'ancienne politique de licence, libre.
En septembre 2005, est déposée une demande en certification auprès de l'ISO (Organisation internationale de normalisation). Celle-ci a été attribuée le 1 mai 2006. Le format OpenDocument est dorénavant une norme ISO26300:2006.
De nombreux logiciels utilisent la norme, principalement OpenOffice.org, NeoOffice, StarOffice, KOffice. De nombreux éditeurs la soutiennent en l'utilisant (IBM, Novell et Sun). La demande grandissante d'interopérabilité dans les environnements bureautiques a conduit Microsoft à accepter, dans une certaine mesure, via un logiciel complémentaire de lire et d'enregistrer des fichiers au format OpenDocument dans certains composants de Microsoft Office (Word et Excel), la qualité n'est cependant pas forcément au rendez-vous .
En février 2007, OpenDocument 1.1, une nouvelle version de la norme, devient un standard Oasis, mais n'est pas encore un standard ISO.