Recherchez sur tout Techno-Science.net
       
Techno-Science.net : Suivez l'actualité des sciences et des technologies, découvrez, commentez
Catégories
Techniques
Sciences
Encore plus...
Techno-Science.net
Partenaires
Organismes
 CEA
 ESA
Sites Web
Photo Mystérieuse

Que représente
cette image ?
 A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | +
Information mutuelle

Introduction

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit.

L'information mutuelle (Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables....) d'un couple (X,Y) de variables représente leur degré (Le mot degré a plusieurs significations, il est notamment employé dans les domaines suivants :) de dépendance au sens (SENS (Strategies for Engineered Negligible Senescence) est un projet scientifique qui a pour but l'extension radicale de l'espérance de vie humaine. Par une évolution progressive allant du...) probabiliste. Ce concept de dépendance logique (La logique (du grec logikê, dérivé de logos (λόγος), terme inventé par Xénocrate signifiant à la fois raison, langage, et raisonnement) est dans une...) ne doit pas être confondu avec celui de causalité physique (La physique (du grec φυσις, la nature) est étymologiquement la « science de la nature ». Dans un sens...), bien qu'en pratique l'un implique souvent l'autre.

Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. La corrélation est un cas particulier de dépendance dans lequel la relation entre les deux variables est strictement monotone.

L'information mutuelle est nulle ssi les variables sont indépendantes, et croit lorsque la dépendance augmente.

Définition (Une définition est un discours qui dit ce qu'est une chose ou ce que signifie un nom. D'où la division entre les définitions réelles et les définitions nominales.)

Soit (X,Y) un couple de variables aléatoires de densité de probabilité (En mathématiques statistiques, on appelle densité de probabilité d'une variable aléatoire X réelle continue une fonction f) jointe données (Dans les technologies de l'information (TI), une donnée est une description élémentaire, souvent codée, d'une chose, d'une transaction d'affaire, d'un événement, etc.) par P(x,y). Notons les distributions marginales P(x) et P(y). Alors l'information mutuelle est dans le cas discret:

I(X,Y) = \sum_{x,y} P(x,y) \times \log \frac{P(x,y)}{P(x)\,P(y)}, \!

et, dans le cas continu:

I(X,Y) = \int_{(-\infty,\infty) \times (-\infty,\infty)} P(x,y) \times \log \frac{P(x,y)}{P(x)\,P(y)} \; dx dy. \!

Propriétés

  • I(X, Y) = 0 ssi X et Y sont des variables aléatoires indépendantes.
  • L'information mutuelle est positive ou nulle.
  • L'information mutuelle est symétrique.
  • 'Data processing theorem': si g1 et g2 sont deux fonctions mesurables alors I(g1(X),g2(Y)) \le I(X,Y). Ceci signifie qu'aucune tranformation sur les données brutes ne peut faire apparaitre de l'information.

Plusieurs généralisations de cette quantité (La quantité est un terme générique de la métrologie (compte, montant) ; un scalaire, vecteur, nombre d’objets ou d’une autre manière de dénommer la valeur d’une collection ou un groupe de choses.) à un nombre (La notion de nombre en linguistique est traitée à l’article « Nombre grammatical ».) plus grand de variables ont été proposées, mais aucun consensus n'a encore émergé.

Source: Wikipédia publiée sous licence CC-BY-SA 3.0.

Vous pouvez soumettre une modification à cette définition sur cette page. La liste des auteurs de cet article est disponible ici.