Bien que le Docteur ait été identifié en tant qu'extra-terrestre, sa planète et son espèce n'ont pas été spécifiées au début de la série. Ce n'est qu'au bout de six ans, dans The War Games, que d'autres individus originaires de son monde sont apparus et ont été désignés comme Seigneurs du Temps. La nature et l'histoire des Seigneurs du Temps ont été graduellement dévoilées au cours de la série télévisée. Chaque épisode ajoute des couches supplémentaires de complexité et d'intrigue, provenant du mécontentement de divers scénaristes luttant avec la question de savoir pourquoi le Docteur est exilé en premier lieu.
Entre autres, il apparait de plus en plus que les Seigneurs du Temps ont sombré dans l'inaction et que leur société est devenue stagnante. Au cours de la première série, il n'a jamais été rendu entièrement clair quel but ou mission les Seigneurs du Temps servent, ou ce qu'ils font exactement grâce à leur maîtrise du temps. Il n'est jamais dit clairement pourquoi que le Docteur a quitté son peuple, bien qu'on suggère dans quelques histoires qu'il est soumis à un exil involontaire (voir An Unearthly Child) et dans d'autres qu'il s'était simplement fatigué des restrictions de la société des Seigneurs du Temps (Resurrection of the Daleks).
Les Seigneurs du Temps sont considérés comme l'une des races les plus anciennes et le plus technologiquement puissantes dans l'univers de Doctor Who. Un petit nombre d'êtres plus puissants que les Seigneurs du Temps existent et inclut les (maintenant éteints) Osirans et les puissances les plus élevées de l'univers telles que les Gardiens Noirs et Gardiens Blancs et, dans des romans secondaires, les Autres Personnes, avec qui les Seigneurs du Temps ont signé un pacte de non-agression. La puissance des Seigneurs du Temps semble limitée par leur politique de non-intervention dans l'univers et parfois par des divisions fratricides intenses.
L'idée qu'ils sont, à un certain degré, des gardiens du Temps, s'est développée à travers les séries dérivées. Ceci est également suggéré dans la série télévisée : dans The War Games, les Seigneurs du Temps ramènent les humains déplacés dans le temps qui ont été enlevés par le Seigneur de guerre à leurs époques appropriées sur la Terre. Le nom du hall central des Seigneurs du Temps, Panopticon, suggère qu'ils sont les observateurs perpétuels de toute l'existence.
Dans l'épisode Fêtes des pères, le neuvième Docteur sous-entend qu'avant leur destruction, les Seigneurs du Temps auraient empêché ou réparé des paradoxes et ceci aurait attiré les Reapers sur Terre en 1987. Dans Le Règne des Cybermen, le dixième Docteur mentionne que lorsque les Seigneurs du Temps étaient actifs, le voyage entre les réalités alternatives étaient plus faciles, mais que depuis leur disparition, les passages entre les mondes sont fermés. Dans la deuxième partie de La Planète du Diable, il déclare encore qu'ils « ont pratiquement inventé les trous noirs. Bien, en fait ils les ont inventé. »
Au début de la saison 5, les Seigneurs du Temps reviennent grâce au Maître.