Les Gaulois le désignait sous le nom de *abankos. Ce terme pouvait signifier nain ou monstre marin. On retrouve ce terme dans les langues celtiques contemporaines:
Dans l'empire romain, l'homme désignait le castor par trois termes :
L'ancien français utilisait le mot bievre (venant suppose-t-on de bebros, beber ou biber), qui est à l'origine du nom de nombreuses rivières dans diverses régions de France et de Belgique. Par exemple, la Bièvre, le Beuvron, la Vèbre, le Vébron, la Beuvronne, ainsi que d'autres. Il est aussi à l'origine de noms de villes telles que Beuvry, Labeuvrière, et pourrait avoir un lien avec le mot bief.
Le terme a ensuite été supplanté par le mot castor en moyen français.
On a supposé au mot latin beber une racine indo-européenne issue du sanskrit babhrúh, qui signifie à la fois brun et mangouste.
L'explication la plus probable fait descendre le mot castor du mot sanskrit kasturi qui signifie musc. L'utilisation du castoréum en parfumerie était en effet connue par les Indo-Européens depuis l'Antiquité.
D'autres ont avancé l'hypothèse que castor proviendrait du mot grec kastôr (qui brille), surtout utilisé comme nom de personne. Cela serait lié à Castor, frère jumeau mythologique de Pollux et protecteur des femmes, le castoréum passant pour guérir les maladies de l'utérus.
Le castor est l'emblème officiel du Canada et de l'État d'Oregon aux États-Unis.
Étant considéré comme « l'ingénieur de la nature » en raison de son ingéniosité, sa maîtrise des travaux hydrauliques, et ses constructions, il figure sur de nombreux blasons. Il figure notamment sur les armoiries de Bièvre, commune forestière belge dont le nom signifie Castor
Pour les mêmes raisons, il est la mascotte de plusieurs universités, comme le Massachusetts Institute of Technology, le California Institute of Technology, l'Oregon State University (États-Unis) ou la London School of Economics (Royaume-Uni).
C'est une espèce qui semble avoir la sympathie du public et des enfants. Il figure dans de nombreux dessins animés ou récents films d'animation, par exemple les castors Bell.