Bernard Faÿ est nommé administrateur général de la Bibliothèque nationale le 6 août 1940 à la suite de la destitution, par Vichy, de Julien Cain qui est Juif.
Il applique donc au sein de la Bibliothèque nationale les règlements édictés par le maréchal Pétain : saisie des bibliothèques des Français déchus de leur nationalité (Juifs, communistes, etc.), refus des lecteurs juifs, suspension des personnels juifs, etc.
Mais Bernard Faÿ n'a pas été nommé là par hasard et il ne considère pas son poste comme une sinécure. Il veut donner à la BN une véritable place dans le monde nouveau qu'il appelle de ses vœux. Il remet pour cela au maréchal Pétain, en 1943, un rapport où est défini le rôle de la Bibliothèque nationale dans l'effort de redressement national voulu par Vichy. La Bibliothèque manquant de personnel en ces années de guerre, il embauche des vacataires qui permettent de faire tourner les services malgré les difficultés matérielles. Enfin, il s'astreint à un travail de réorganisation administrative, créant notamment le département de la Musique (1942).
Pendant ce temps, Julien Cain, son prédécesseur au poste d'administrateur de la Bibliothèque nationale, vit dans la clandestinité, avant d'être arrêté par les Allemands et déporté à Buchenwald.
Bernard Faÿ joue un rôle très important dans la politique anti-maçonnique de Vichy. Ce monarchiste est en effet persuadé de l'existence d'un complot mené par la franc-maçonnerie, qui serait à l'origine de la Révolution française et influerait encore négativement sur la France, causant son abaissement tant sur le plan intérieur qu'extérieur. Il représente le courant contre-révolutionnaire qui se reconnaît dans le discours passéiste et rural de Vichy, qui s'appuie sur un prétendu déclin de la France. Il est nommé chef du Service des sociétés secrètes (SSS), chargé de classer les archives saisies dans les loges et de les utiliser pour des études et pour la propagande anti-maçonnique. Ce service travaillait en collaboration avec le Sicherheitsdienst allemand. Selon la propagande du régime de Vichy, les francs-maçons seraient l'une des causes de la défaite de 1940. D'après l'Action française, ils auraient participé à un « complot » réunissant « le juif, le protestant, le maçon et le métèque » aussi nommé Anti-France.
Pour lutter contre ce « parasite monstrueux », Bernard Faÿ publie pendant quatre ans une revue, Les Documents maçonniques, qui cherche à démontrer la désastreuse influence de la franc-maçonnerie sur la France, il fait tourner un film, organise des conférences et une grande exposition au Petit Palais en octobre-novembre 1941. Il entreprend surtout de répertorier tous les anciens francs-maçons dans un gigantesque fichier de près de 60 000 noms, qui sert notamment à exclure les anciens maçons de la fonction publique. Il comptera parmi ses collaborateurs Albert Vigneau. À la Libération, le bilan humain s'élève à environ un millier de francs-maçons français éliminés par les Allemands, soit par exécution, soit par déportation en camp de concentration.