Lors de l'établissement d'une connexion IPsec, plusieurs opérations sont effectuées :
Le protocole IKE (Internet Key Exchange) est chargé de négocier la connexion. Avant qu'une transmission IPSec puisse être possible, IKE est utilisé pour authentifier les deux extrémités d'un tunnel sécurisé en échangeant des clés partagées. Ce protocole permet deux types d'authentifications, PSK (Pre-Shared Key ou secret partagé) pour la génération de clefs de sessions ou à l'aide de certificats/signatures RSA. Une signature est un certificat signé par une tierce-partie appelée Autorité de certification (AC ou CA) qui offre l'Authentification et la Non-répudiation. Sans cette signature, une partie peut simplement nier la responsabilité de messages envoyés.
Sachant que l'usage de la cryptographie asymétrique (clés publiques) peut être utilisé avec IPSec, il ne permet pas la Non-répudiation. IPSec utilise une association de sécurité (Security association) pour dicter comment les parties vont faire usage de AH et de l'encapsulation de la charge utile d'un paquet.
un ou plusieurs canaux de données par lesquels le trafic du réseau privé est véhiculé, deux protocoles sont possibles :
IPsec peut fonctionner dans un mode transport hôte à hôte ou bien dans un mode tunnel réseau.
Dans le mode transport, ce sont uniquement les données transférées (la partie payload du paquet IP) qui sont chiffrées et/ou authentifiées. Le reste du paquet IP est inchangé et de ce fait le routage des paquets n'est pas impacté. Néanmoins, les addresses IP ne pouvant pas être modifiées sans corrompre le hash de l'en-tête, pour traverser un NAT il faut avoir recours à l'encapsulation NAT-T. Le mode transport est utilisé pour les communications dites hôte à hôte (Host-to-Host).
En mode tunnel, c'est la totalité du paquet IP qui est chiffré et/ou authentifié. Le paquet est ensuite encapsulé dans un nouveau paquet IP avec une nouvelle en-tête IP. Au contraire du mode transport, ce mode supporte donc bien la traversé de NAT. Le mode tunnel est utilisé pour créer des réseaux privés virtuels (VPN) permettant la communication de réseau à réseau (e.g. entre deux sites distants), d'hôte à réseau (e.g. accès à distance d'un utilisateur) ou bien d'hôte à hôte (e.g. messagerie privée.)
Pour que les réalisations d'IPsec interopèrent, ils doivent avoir un ou plusieurs d'algorithmes de sécurité en commun. Les algorithmes de sécurité utilisés pour une association de sécurité ESP ou AH sont déterminés par un mécanisme de négociation, tel que Internet Key Exchange (IKE).
Les algorithmes de chiffrage et d'authentification pour IPsec encapsulant le protocole ESP et AH sont:
En référence avec la RFC 4835