En informatique, le calcul parallèle consiste en l'exécution simultanée d'une même tâche, partitionnée et adaptée afin de pouvoir être répartie entre plusieurs processeurs en vue de traiter plus rapidement des problèmes plus grands.
La réalisation de ces objectifs se traduit par des économies dans presque tous les domaines du calcul, incluant: la dynamique des fluides (La dynamique des fluides est l'étude des mouvements des fluides, qu'ils soient liquide ou gaz....), les prédictions météorologique, la modélisation et simulation (Les progrès des méthodes numériques et l'augmentation des performances des ordinateurs...) de problèmes de dimensions (Dans le sens commun, la notion de dimension renvoie à la taille ; les dimensions d'une pièce...) plus grandes, le traitement de l'information et l'exploration de données (L’exploration de données (terme recommandé en France par la DGLFLF, et au Canada...), le traitement d'images ou la fabrication d'images de synthèse (avec les fermes de rendu), l'intelligence artificielle (L'intelligence artificielle ou informatique cognitive est la « recherche de moyens...) et la fabrication automatisée.
Elle permet aussi de traiter des problèmes nouveaux, d'apporter des solutions globales à des problèmes qui étaient abordés plus partiellement auparavant.
Le terme ordinateur parallèle est parfois utilisé en référence à un ordinateur qui possède plus d'une unité centrale de traitement et qui peut effectuer un traitement parallèle.
Il existe plusieurs types d'ordinateurs (ou de processeurs) parallèles, caractérisés, principalement, par différents modèles d'interconnexions entre les processeurs et entre les processeurs et la mémoire (D'une manière générale, la mémoire est le stockage de l'information. C'est aussi le souvenir...). La classification la plus populaire est la taxonomie de Flynn, qui catégorise les ordinateurs parallèles (et sériels) selon le type d'organisation (Une organisation est) du flot de données (Dans les technologies de l'information (TI), une donnée est une description élémentaire, souvent...) et du flot d'instructions. Elle distingue ainsi les machines SIMD (à flot d'instructions unique agissant sur des données multiples) et les machines MIMD (à flot d'instructions et de données multiples).
Bien qu'un système de n processeurs en parallèle ne soit pas plus efficace qu'un seul processeur (Le processeur, ou CPU (de l'anglais Central Processing Unit, « Unité centrale de...) ayant n fois la vitesse (On distingue :) de l'un d'eux, le système parallèle est souvent moins coûteux à réaliser. Le calcul parallèle (En informatique, le calcul parallèle consiste en l'exécution simultanée d'une même tâche,...) est, donc, une excellente solution pour des tâches exigeantes en calcul et/ou ayant des contraintes temporelles critiques (cf. Systèmes en temps (Le temps est un concept développé par l'être humain pour appréhender le...) réel). En fait, la plupart des systèmes de calcul de haute performance (aussi appelés superordinateurs ou supercalculateurs) qui ont été conçus au cours des dernières années ont une architecture (L’architecture peut se définir comme l’art de bâtir des édifices.) parallèle.
Trois facteurs principaux ont contribué à la forte tendance actuelle en faveur du traitement parallèle.
Il a décru de manière constante, de sorte qu'il est aujourd'hui possible de construire des systèmes à multiprocesseurs à moindre coût.
La technologie des circuits a progressé à un tel point (Graphie) qu'il est devenu possible de fabriquer des systèmes complexes nécessitant des millions de transistors sur une seule puce.
On peut alors doubler ou tripler, voire davantage, quelques circuits de calcul sur cette même puce en la munissant de circuits de contrôle (Le mot contrôle peut avoir plusieurs sens. Il peut être employé comme synonyme d'examen, de...) veillant à répartir les calculs entre eux, ainsi qu'à éviter les collisions que pourrait impliquer ce parallélisme.
La vitesse des traitements séquentiels traditionnels, basés sur le modèle de von Neumann, semble s'approcher de la limite physique (La physique (du grec φυσις, la nature) est étymologiquement la...) au-delà de laquelle il n'est plus possible d'accélérer. On peut en revanche disposer de :
C'est sur ce principe qu'est construit l'ordinateur le plus puissant du moment (2004) : Blue gene.
Ils sont donnés par la loi d'Amdahl, qui procède d'une simple règle de trois (La règle de trois, aussi appelée produit croisé, permet de résoudre de nombreux problèmes...) sur des données simplifiées. Voir cet article.
La thèse (Une thèse (du nom grec thesis, se traduisant par « action de poser ») est...) du calcul parallèle s'énonce comme suit: Tout problème pouvant être résolu sur un ordinateur séquentiel raisonnable en utilisant un espace de taille polynomiale peut être résolu en temps polynomial par un ordinateur parallèle raisonnable et vice versa.
La thèse de l'invariance est une thèse complémentaire qui supporte, du moins de façon approximative, la définition (Une définition est un discours qui dit ce qu'est une chose ou ce que signifie un nom. D'où la...) d'une notion d'ordinateur raisonnable. Elle s'énonce comme suit: Des machines raisonnables peuvent se simuler entre elles avec au plus un accroissement polynomial en temps et une multiplication constante de l'espace. Une manière de construire des modèles raisonnables est de considérer la classe des machines raisonnables incluant la machine de Turing (Une machine de Turing est un modèle abstrait du fonctionnement des appareils mécaniques...).