Dans un jeu à deux joueurs, un équilibre de Nash est une stratégie tel que si les deux joueurs jouent leurs parts respectives, aucun changement de stratégie par un des joueurs ne lui permettra de réaliser un meilleur gain.
Soit E(S, T) l'évaluation du jeu de la stratégie S contre la stratégie T. La pair (S, S) est un équilibre de Nash si et seulement si la situation suivante est vraie pour les deux joueurs :
E(S,S) ≥ E(T,S) pour tout T≠S
Cette équation permet l'existence de stratégies alternatives (ici T) qui permettent de réaliser les mêmes gains mais pas plus. Nash démontra que tout jeu à deux joueurs possède une telle stratégie stable.
Une ESS est un jeu particulier qui possède un équilibre de Nash (nécessairement) mais également une condition supplémentaire, celle de Smith et Price.
- E(S,S) ≥ E(T,S), et
- E(S,T) > E(T,T)
pour tout T≠S.
Cette condition supplémentaire implique que dans une grande population de joueurs se rencontrant aléatoirement, les joueurs jouant toujours S ont un gain moyen supérieur à ceux jouant toujours T ou une combinaison de T et de S. Il est donc avantageux de toujours jouer S. Par conséquent, si cette stratégie est réalisée par un mécanisme instinctif et que le gain est l'équivalent de la valeur sélective du comportement, la sélection naturelle fera disparaître toute stratégie alternative à S et il ne subsistera plus que cette stratégie (équilibre de Nash). Par contre, dans le cas de l'existence de trois stratégies S,T et U les choses se compliquent. En effet, nous pouvons avoir :
E(U,T) ≥ E(T,U) ≥ E(S,S) ≥ E(T,S) ≥ E(U,S)
Ici, le gain moyen des trois stratégies pourrait être le même dans une grande population de joueurs se rencontrant aléatoirement. Ces fréquences d'équilibre f(U) + f(T) + f(S) = 1 constituent un état évolutivement stable (EES). Nous ferons remarquer que pour exister, il faut nécessairement que la stratégie T et la stratégie U apparaissent avant la stratégie S, sinon la stratégie mutante (T ou U) serait immédiatement éliminée par la sélection naturelle (une population homogène de S est non modifiable). Ceci implique également que la condition suivante soit respectée :
E(U,T) ≥ E(T,U) ≥ E(T,T) ≥ E(U,U)
Ici, une population de T pourrait se voir envahie par un mutant U jusqu'à atteindre une fréquence d'équilibre f(U) + f(T) = 1. Par contre, l'inverse est impossible.
L'existence d'un état évolutivement stable (EES) renseigne donc sur l'ordre d'apparition des différentes stratégies (comportements) au cours de l'histoire naturelle.