Entropie de Shannon - Définition

Propriétés

Voici quelques propriétés importantes de l'entropie de Shannon :

• 
• 
• 
• 

Définition formelle

Pour une source, qui est une variable aléatoire discrète, X comportant n symboles, un symbole i ayant une probabilité P_i d'apparaître, l'entropie H de la source X est définie comme :

où désigne l'espérance mathématique. On utilise en général un logarithme à base 2 car l'entropie possède alors les unités de bits/symbole. Les symboles représentent les réalisations possibles de la variable aléatoire X.

L'entropie ainsi définie vérifie les propriétés suivantes :

• avec égalité ssi
  • elle est supérieure ou égale à zéro, avec égalité pour une distribution résumée en un point, c'est-à-dire nulle en tout point i sauf en un point i * pour lequel p(i * ) = 1 ;
• 
  • elle est maximale pour une distribution uniforme, c’est-à-dire quand tous les états ont la même probabilité ;
  • toutes choses égales par ailleurs, elle augmente avec le nombre d'états possible (ce qui traduit l'intuition que plus il y a de choix possibles, plus l'incertitude est grande) ;
• elle est continue

Justification du logarithme

L'utilisation du logarithme peut paraître arbitraire à première vue. Il faut se souvenir que l'effet du logarithme est de transformer la multiplication en addition et la division en soustraction. Par ailleurs, étant donné deux variables aléatoires indépendantes X et Y, la probabilité du produit cartésien de ces variables aléatoires est donnée par :

Ainsi:

Ce qui est intuitivement satisfaisant puisque X et Y sont indépendantes. L'entropie étant une mesure d'information moyenne contenue dans une variable aléatoire, l'entropie de la combinaison de deux variables qui ne sont pas reliées entre-elles s'additionne simplement. On voit alors le travail qu'effectue le logarithme en effectuant le pont entre la multiplication des probabilités et l'addition des entropies. Dans le cas où il existe une certaine dépendance entre X et Y, on vérifie par une preuve semblable que :

La quantité H(X,Y) est appelée l'entropie conjointe des variables X et Y.

Maximisation de l'entropie

Inégalité de Locatelli-Mabon

La proposition précédente, suivant qu'une distribution d'événements équiprobables maximise l'entropie pour un nombre donné d'éléments K, peut être exprimée plus généralement par l'inégalité de Locatelli-Mabon :

où q_i est une distribution de probabilités quelconque sur la variable X. On voit alors que l'inégalité précédente est obtenue en tant que cas particulier lorsque 1 / q_i = K, c'est-à-dire pour des événements équiprobables :

Démonstrations

Preuve par l'inégalité de Jensen

Le logarithme est une fonction concave, c'est-à-dire que sa dérivée seconde est inférieure ou égale à zéro pour toute valeur de x sur son domaine. Par Jensen nous obtenons alors :

Puis en posant :

En substituant dans Jensen :

Et en développant les espérances mathématiques :

Par la propriété des logarithmes :

CQFD.

Preuve par une borne linéaire sur le logarithme

Il est facile de vérifier que la fonction logarithmique est bornée supérieurement par n'importe quelle droite tangente à celle-ci. La nature concave de la fonction logarithme lui confère cette propriété :

On a ainsi :

La fin de la preuve est la même que précédemment, par la propriété des logarithmes :

CQFD.