Jean-Paul Roux est membre du bureau académique du Syndicat FEN de l'Intendance (SNIU, puis SNIEN) de 1966 à 1977. Il est élu au bureau national SNIEN puis du Syndicat A & I de 1971 à 2003. Il devient également secrétaire général adjoint du SNIEN (1977-1982). Il est, dans le cadre de ces mandats, élu aux commissions administratives paritaires académiques puis nationales.
Secrétaire administratif de la section départementale du Var de la FEN (1971-1973), puis secrétaire général adjoint (1973-1974), Roux devient secrétaire général de la section départementale de la FEN de 1974 à 1980). Jusqu'en 1970, il vote pour la tendance Rénovation Syndicale, réputée proche des idées du PSU au sein de la FEN avant de rejoindre la tendance Unité, Indépendance, Démocratie.
Membre de la commission administrative nationale de la FEN (1976-1982), responsable de la majorité fédérale (tendance UID) (1982-1983), membre du bureau national (1982-2002), Roux devient secrétaire national, responsable du secteur « Revendications » de 1983 à 1997. Il coordonne alors l’activité de la FEN puis celle de l'UNSA fonctionnaires, dans le domaine de la fonction publique, en particulier lors des négociations salariales et de celles sur la revalorisation des enseignants (1989) et la réforme de la grille des rémunérations dite « accords Durafour » (1990).
Dès 1985, il est à l'initiative d'une coordination de cinq fédérations de fonctionnaires « réformistes », réunies autour de la FEN et de la CFDT, avec comme objectif de créer un « pôle majoritaire » dans la fonction publique. Ce groupe des cinq au sein de la fonction publique (FEN, CFDT, FGAF, CFTC, CGC) poursuit ses activités jusqu'au début des années 2000.
Jean-Paul Roux prend une place importante dans le processus qui débouche en 1992 sur la désaffiliation de la FEN du SNES et du SNEP. Dans la même période, il joue un également un rôle dans la mise à l'écart (1991) de Yannick Simbron, alors secrétaire général de la FEN mais en désaccord sur cette ligne, et son remplacement par Guy Le Néouannic.
Secrétaire général adjoint de la FEN (1994-1997), Jena-Paul Roux en devient secrétaire général en 1997 avant de conserver cette responsabilité après son changement d'appellation en UNSA éducation (2000). À la recherche d’un nouvel équilibre dans la vie fédérale, il y renforce le rôle et la place des syndicats nationaux avec lesquels il entretient des liens étroits, en particulier avec le Syndicat des enseignants.
Sur son initiative, au cours du congrès de Pau en 2000, la FEN prit le nom d’UNSA Education et adopta un nouveau projet éducatif : Pour une société éducative.
Dans le cadre de ses mandats fédéraux (comme secrétaire national ou secrétaire général), Jean-Paul Roux siège dans de nombreux organismes dont le Conseil supérieur de la fonction publique de l'État (1982-2002), le Conseil supérieur de l’éducation (1997-2002), mais également le Conseil d'administration de l' (ENA) de 1983 à 2001.
Convaincu que « l’avenir du syndicalisme enseignant en général et celui de la FEN en particulier résidait dans le retour au syndicalisme confédéré », Jean-Paul Roux est l’un des principaux artisans de la création de l’Union nationale des syndicats autonomes (UNSA) constituée en 1993 après la scission de la FEN. Il initie le processus de mutation d’une fédération autonome en fédération affiliée à une organisation interprofessionnelle. À partir de 1985, tout en resserrant les relations avec la CFDT, il est chargé, au nom de la FEN, de nouer des contacts officieux avec les responsables des syndicats autonomes (parfois passés à l'autonomie en 1947-1948 pour les mêmes raisons que la FEN)
Il siège alors au bureau national de l’UNSA (1993-2002), devient le coordonnateur de l'UNSA fonctionnaires (1995-1997), son secrétaire général adjoint (1998 et 2001-2002) puis son secrétaire général (1998-2001).
Dans le cadre de ses responsabilités fédérales, Jean-Paul Roux siège au bureau exécutif mondial de l'Internationale de l'éducation (I.E.) (1998-2001). Sous son impulsion, l’activité internationale de la FEN connut une nouvelle orientation fondée sur des actions de coopération régulières avec les syndicats enseignants de l’Europe centrale et orientale ainsi qu’avec ceux de l’Afrique francophone. Après sa retraite administrative et l'abandon de ses mandats syndicaux, il poursuit cet engagement, au titre de son organisation.
S’intéressant à l’histoire sociale et souhaitant ouvrir largement les archives de la FEN aux chercheurs, il signe le 25 novembre 1997 un contrat de dépôt avec le directeur des Archives Nationales afin que le Centre des Archives du Monde du Travail(CAMT) de Roubaix en soit désormais dépositaire.
A partir de 1997, président du Centre Henri-Aigueperse (centre de recherches, d'histoire sociale et de formation de la FEN) — la fonction était assumée par le secrétaire général de la fédération —, Jean-Paul Roux en devient le secrétaire général (2002-2004) et siège au jury du prix Jean Maitron.
Jean-Paul Roux a participé à divers organismes sur le plan régional (Comité économique et social de la région Provence-Alpes-Côte-d'Azur de 1978 à 1980) et sur le plan national (section de la Conjoncture du Conseil économique et social de 1982 à 1984.