Les poissons préhistoriques forment un groupe varié de poissons qui ont vécu avant les temps historiques, durant les différentes ères géologiques. Quelques-uns, tels que le cœlacanthe existent toujours aujourd'hui et sont considérés comme des fossiles vivants.
Les premiers poissons et en fait les premiers vertébrés, étaient les ostracodermes, qui apparurent au Cambrien, il y a environ 510 Ma, et s'éteignirent à la fin du Dévonien, il y a environ 350 Ma. Les ostracodermes étaient des poissons sans mâchoires que l'on trouvait principalement en eau douce. Ils étaient recouverts de plaques osseuses ou d'écailles formant une sorte d'armure et mesuraient souvent moins de 30 cm de long. Les ostracodermes font partie de la classe des Agnatha avec les poissons sans mâchoires actuels, les lamproies et les myxines, dont on pense qu'ils dérivent des ostracodermes.
Les premiers poissons possédant des machoires, les acanthodiens, ou requins à épines, apparurent à la fin du Silurien, il y a environ 410 millions d'années, et s'éteignirent avant la fin du Permien, il y a environ 250 millions d'années. Les acanthodiens étaient généralement des poissons de petite taille ressemblant à des requins et avec des formes variant des poissons se nourrissant de plancton, sans dent, aux prédateurs aux dents acérées. Ils étaient souvent classés dans un ordre de la classe des Placodermi, un autre groupe de poissons primitifs, mais plus récemment les systématiciens les ont déplacés dans une classe pour eux seuls : la classe des Acanthodii ou même au sein de la classe des poissons modernes osseux, les Osteichthyes. On pense que les acanthodiens et les poissons osseux modernes sont apparentés et que soit les acanthodiens ont donné naissance aux poissons osseux modernes ou que les deux groupes partagent un ancêtre commun.
Les poissons osseux modernes, de la classe des Osteichthyes, apparurent à la fin du Silurien ou au début du Dévonien, il y a environ 395 millions d'années. Les premières formes étaient des poissons d'eau douce, du fait qu'on n'en a retrouvé aucun reste fossile dans aucun dépôt marin plus ancien que ceux du Trias, il y a environ 230 millions d'années. Les Osteichthyes ont pu évoluer à partir des acanthodians. Une sous-classe des Osteichthyes, les poissons aux nageoires rayonnées (Actinopterygii), apparurent et demeurèrent le groupe dominant de poissons au niveau planétaire. Ce ne fut cependant pas par les poissons aux nageoires rayonnées qu'a eu lieu l'évolution vers les vertébrés terrestres.
Les placodermes, un autre groupe de poissons dotés de machoires, apparurent au début du Dévonien, il y a environ 395 millions d'années, et s'éteignirent à la fin du Dévonien ou au début du Mississippien (Carbonifère), il y a environ 345 millions d'années. Des études détaillées sur l'anatomie de restes fossiles par le scientifique Suédois Erik Stensiö suggèrent fortement que les placodermes sont apparentés étroitement avec les requins. Les placodermes étaient des poissons typiquement de petite taille, aplatis et vivant sur le fond marin, bien que de nombreuses espèces, en particulier les arthrodires, étaient quant à elles des prédateurs actifs de pleines eaux. Dunkleosteus était le plus grand et le plus connu de ces espèces. Sa machoire supérieure était fermement fusionnée avec le crâne, mais il y avait une articulation entre le crâne et la plaque osseuse de la région du tronc. Celle-ci permettait à la partie supérieure de la tête d'être projetée en arrière, et chez les arthrodires, ce mouvement leur permettait d'ouvrir la gueule plus grand.
On pense que le squelette cartilagineux des requins et des raies, de la classe des Chondrichthyes, qui apparurent il y a environ 370 millions d'années au milieu de l'ère dévonienne, est une évolution secondaire dérivant du squelette osseux des placodermes.