À titre d’exemple, imaginons deux urnes remplies de boules. La première contient dix (10) boules noires et trente (30) blanches ; la seconde en a vingt (20) de chaque. On tire sans préférence particulière une des urnes au hasard et dans cette urne, on tire une boule au hasard. La boule est blanche. Quelle est la probabilité qu'on ait tiré cette boule dans la première urne sachant qu'elle est blanche?
Intuitivement, on comprend bien qu'il est plus probable que cette boule provienne de la première urne, que de la seconde. Donc, cette probabilité devrait être supérieure à 50 %. La réponse exacte vient du théorème de Bayes.
Soit H1 l’hypothèse « On tire dans la première urne. » et H2 l’hypothèse « On tire dans la seconde urne. ». Comme on tire sans préférence particulière, P(H1) = P(H2) ; de plus, comme on a certainement tiré dans une des deux urnes, la somme des deux probabilités vaut 1 : chacune vaut 50 %.
Notons 'D' l’information donnée « On tire une boule blanche. » Comme on tire une boule au hasard dans une des urnes, la probabilité de D sachant/sous l’hypothèse H1 vaut :
De même si l’on considère H2,
La formule de Bayes dans le cas discret nous donne donc.
Avant que l’on regarde la couleur de la boule, la probabilité d’avoir choisi la première urne est une probabilité a-priori, P(H1) soit 50 %. Après avoir regardé la boule, on révise notre jugement et on considère P(H1|D), soit 60 %, ce qui confirme notre intuition première.
Qui croire, et avec quelle probabilité?
Cette approche bayésienne est utilisée par les centres anti-poison pour détecter le plus vite possible et avec le maximum de précision le type d’empoisonnement dont souffre probablement un patient.
Un problème régulièrement soulevé par l’approche bayésienne est le suivant : si une probabilité de comportement (délinquance, par exemple) est fortement dépendante de certains facteurs sociaux, culturels ou héréditaires, alors :
Les règles de la théorie mathématique des probabilités s’appliquent à des probabilités en tant que telles, pas uniquement à leur application en tant que fréquences relatives d’évènements aléatoires. On peut décider de les appliquer à des degrés de croyance en certaines propositions. Ces degrés de croyance s’affinent au regard d’expériences en appliquant le théorème de Bayes.
Le Théorème de Cox-Jaynes justifie aujourd’hui très bien cette approche, qui n’eut longtemps que des fondements intuitifs et empiriques.