Probabilités

La théorie des probabilités

Trois axiomes, et tout le reste s’en déduit.

Trois axiomes suffisent à Andreï Kolmogorov, en 1933, pour fonder toute la discipline : une probabilité est une mesure, comme une aire, posée sur l’ensemble des possibles et de masse totale 1. Tout le reste — le conditionnement, l’espérance, les théorèmes limites, les marches aléatoires — s’en déduit. Cette page fait tourner la machine et compare chaque fois le comptage à la formule.

Le cadre se décrit par un triplet (Ω, 𝒜, P). L’univers Ω est l’ensemble des issues possibles de l’expérience. Les événements sont certaines parties de Ω ; leur collection 𝒜, appelée tribu, contient Ω, le complémentaire de chacun de ses éléments, et toute réunion d’une suite de ses éléments. La probabilité P associe un nombre à chaque événement, en respectant trois règles :

Axiome 1 — positivitéP(A) ≥ 0
pour tout événement A. Une probabilité n’est jamais négative.

Axiome 2 — normalisationP(Ω) = 1
L’événement certain a la probabilité 1 : la masse totale vaut 1.

Axiome 3 — σ-additivitéP(A₁ ∪ A₂ ∪ …) = P(A₁) + P(A₂) + …
pour toute suite, finie ou infinie, d’événements deux à deux incompatibles.

Ces trois règles sont celles d’une aire, d’une masse, d’un volume ; c’est pourquoi la planche 2 représente les probabilités par des aires. Leurs premières conséquences se démontrent en une ligne :

Conséquence	Démonstration à partir des axiomes
P(∅) = 0	Ω = Ω ∪ ∅ ∪ ∅ ∪ … avec des ensembles incompatibles ; l’axiome 3 donne P(Ω) = P(Ω) + P(∅) + P(∅) + …, ce qui n’est possible que si P(∅) = 0.
P(Ā) = 1 − P(A)	A et son contraire Ā sont incompatibles et forment Ω : P(A) + P(Ā) = P(Ω) = 1 (axiomes 3 et 2).
si A ⊂ B, P(A) ≤ P(B)	B est la réunion incompatible de A et de B \ A : P(B) = P(A) + P(B \ A) ≥ P(A) (axiomes 3 et 1).
0 ≤ P(A) ≤ 1	axiome 1 pour la borne inférieure ; A ⊂ Ω et la monotonie pour la borne supérieure.
P(A ∪ B) = P(A) + P(B) − P(A ∩ B)	A ∪ B est la réunion incompatible de A et de B \ A, et P(B \ A) = P(B) − P(A ∩ B).
P(∪ Aₙ) = lim P(Aₙ) si la suite croît	continuité : on écrit la réunion comme une suite de « tranches » incompatibles Aₙ \ Aₙ₋₁ et on applique l’axiome 3.

La probabilité conditionnelle P(A | B) = P(A ∩ B)/P(B) n’est pas un axiome mais une définition ; on vérifie qu’elle satisfait à son tour les trois axiomes, sur l’univers réduit à B.

Les axiomes de Kolmogorov à l’épreuve

Un axiome n’est pas une vérité qu’on démontre : c’est une règle qu’on impose, et dont on tire des théorèmes. La meilleure façon d’en voir le rôle est de le violer. Dans le premier onglet, vous fabriquez vous-même les « probabilités » des six faces d’un dé, éventuellement négatives ou de somme différente de 1, et la page vérifie ce qui survit. Le second onglet montre pourquoi l’axiome 3 porte sur des suites infinies.

À gauche, le poids attribué à chaque face (en rouge s’il est négatif). À droite, la barre de l’univers : la somme des six poids, P(Ω), comparée à la longueur 1 (trait vert).

Axiome 1 : tous les poids ≥ 0 ?—

Axiome 2 : P(Ω) = 1 ?—

Axiome 3 : additivitévraie par constructionon définit P(E) comme la somme des poids des faces de E

Voici quatre théorèmes, testés sur les 64 événements que l’on peut former avec les six faces (et les 729 couples d’événements emboîtés A ⊂ B pour la monotonie) :

Théorème	Axiomes utilisés	Résultat	Pire cas rencontré
P(∅) = 0	3
P(Ā) = 1 − P(A)	2 et 3
0 ≤ P(A) ≤ 1	1, 2 et 3
A ⊂ B ⇒ P(A) ≤ P(B)	1 et 3

Coupons le carré unité en deux, puis la moitié restante en deux, et ainsi de suite : on obtient une suite infinie de morceaux A₁, A₂, A₃, … d’aires 1/2, 1/4, 1/8, … deux à deux disjoints, qui remplissent tout le carré. L’axiome 3 affirme que la probabilité de la réunion est la somme de la série : 1/2 + 1/4 + 1/8 + … = 1. C’est ce qui permet de parler de « lancer une pièce jusqu’à obtenir face » : le jeu s’arrête avec la probabilité 1, même si aucun nombre de lancers n’est garanti.

À gauche, les morceaux successifs Aₖ (k-ième lancer = premier face). À droite, la tentative de loi uniforme sur les entiers : chaque entier reçoit la même probabilité p ; la courbe montre la somme des probabilités des N premiers entiers.

Morceaux tracés n Probabilité p de chaque entier

P(A₁ ∪ … ∪ Aₙ) = somme des n premiers termes—

Contrôle : 1 − 2⁻ⁿ—la série tend vers 1 = P(Ω)

Loi uniforme sur les entiers ?—

Avec un poids négatif, la monotonie tombe : un événement plus grand peut devenir moins probable. Avec une somme différente de 1, c’est la règle du contraire qui tombe. Les axiomes ne sont donc pas des précautions de juriste : chacun porte des théorèmes précis. Quant à l’additivité infinie, elle interdit une loi « uniforme » sur les entiers : si chaque entier a la même probabilité p, la somme vaut 0 si p = 0 et l’infini sinon, jamais 1. Choisir un entier « au hasard, tous également probables » n’a pas de sens.

Une probabilité est une aire

Le carré est l’univers : aire totale 1 (axiome 2). L’événement A est la bande de gauche, l’événement B la région basse — dont la hauteur peut différer selon qu’on est dans A ou non. Les aires sont positives (axiome 1) et s’additionnent quand les régions ne se chevauchent pas (axiome 3) : toutes les formules ci-dessous en découlent. Conditionner, c’est simplement changer de carré : oublier tout ce qui n’est pas B et regarder quelle fraction en occupe A.

À gauche, l’univers : A en bleu, B en orange, A ∩ B en rouge. À droite, B seul, agrandi pour devenir le nouvel univers : la part rouge y est P(A | B). Les points tombés au hasard servent au comptage.

P(A) — largeur de la bande P(B | A) — hauteur à gauche P(B | Ā) — hauteur à droite

Points tombés0

P(A ∩ B) — formule P(A)·P(B | A)—

P(A ∩ B) — comptée—

P(A ∪ B) = P(A) + P(B) − P(A ∩ B)—

P(A ∪ B) — comptée—

P(A | B) par Bayes—P(A)·P(B | A) / P(B)

P(A | B) — comptée—

P(A)·P(B) contre P(A ∩ B)—

P(Ā) = 1 − P(A) : axiomes 2 et 3—

La formule P(A ∪ B) = P(A) + P(B) − P(A ∩ B) retire une fois la zone rouge, comptée deux fois quand on additionne les deux aires. La probabilité de B elle-même s’obtient par la formule des probabilités totales, P(B) = P(A)·P(B | A) + P(Ā)·P(B | Ā) : c’est l’axiome 3 appliqué aux deux morceaux disjoints de B. Quand les deux hauteurs sont égales, savoir qu’on est dans A ne change rien à la chance d’être dans B : c’est l’indépendance.

Le renversement de Bayes, et pourquoi un test fiable se trompe si souvent

Dix mille personnes, une par carré. Un test détecte 99 % des malades et n’accuse à tort que 1 % des bien portants — excellent, dirait-on. Reste la question que pose le patient : « je suis positif, quelle est la probabilité que je sois malade ? » Ce n’est pas la même question, et la réponse dépend surtout d’un nombre qui n’a rien à voir avec le test : la proportion de malades dans la population.

Rouge : malades détectés (vrais positifs). Orange : malades manqués. Violet : bien portants accusés à tort (faux positifs). Gris : bien portants épargnés. À droite, P(malade | positif) en fonction de la prévalence, en échelle logarithmique.

Prévalence de la maladie Sensibilité — détecte les malades Spécificité — épargne les sains

Malades sur 10 000—

Vrais positifs—

Faux positifs—

P(malade | test positif) — Bayes—

Vérifiée par comptage—

P(sain | test négatif)—

La formule de Bayes, P(M | +) = P(M)·P(+ | M) / P(+), n’est qu’une double écriture de P(M ∩ +). Le dénominateur P(+) se calcule par les probabilités totales : P(M)·P(+ | M) + P(M̄)·P(+ | M̄). Quand la maladie est rare, le second terme, nourri par l’immense groupe des bien portants, l’emporte : avec 1 % de malades et un test à 99 %, un positif n’a qu’une chance sur deux d’être malade ; avec 0,1 % de malades, moins d’une sur dix.

Variable aléatoire, espérance, variance — et une inégalité universelle

Une variable aléatoire est une fonction X qui associe un nombre à chaque issue de Ω ; les axiomes transportent alors la probabilité de Ω vers les nombres, et l’on obtient la loi de X. L’espérance μ = E(X) est le point d’équilibre de la loi : posez la distribution sur une réglette, elle bascule autour de μ. La variance σ² = E((X − μ)²) mesure l’écartement des masses à ce point d’appui. Avec ces deux nombres seulement, sans rien savoir d’autre, Bienaymé et Tchebychev bornent la probabilité de s’éloigner : P(|X − μ| ≥ kσ) ≤ 1/k².

À gauche, la loi choisie ; les zones rouges sont les valeurs à plus de kσ de μ (trait vert). À droite, la probabilité exacte de ces queues (bleu) et la borne 1/k² (rouge) en fonction de k.

Loi Écart k, en nombre d’écarts-types

Espérance μ—

Écart-type σ—

P(|X − μ| ≥ kσ) exacte—

Borne 1/k²—

Rapport borne / probabilité—

Contrôle ΣP = 1 (axiome 2)—

La borne est grossière pour les lois habituelles — souvent dix ou cent fois trop large —, mais elle vaut pour toutes les lois de variance finie, sans exception. La loi extrémale à trois points (masses 1/(2k²) en μ ± kσ, le reste en μ) l’atteint exactement : on ne peut donc pas l’améliorer sans hypothèse supplémentaire. La démonstration tient en une ligne : σ² ≥ (kσ)²·P(|X − μ| ≥ kσ), parce que les écarts au moins égaux à kσ pèsent au moins (kσ)² chacun et que les autres pèsent au moins 0 (axiome 1).

La loi des grands nombres — et le cas où elle n’a pas lieu

La moyenne des tirages se rapproche de l’espérance : c’est le premier théorème de la théorie, démontré par Jacques Bernoulli et déduit en deux lignes de l’inégalité de Tchebychev, puisque la moyenne de n tirages a la variance σ²/n. L’échelle horizontale est logarithmique, si bien que le couloir ±2σ/√n devient une trompette régulière. Mais ce théorème a une condition d’existence, et une loi célèbre ne la remplit pas.

Moyennes courantes de plusieurs trajectoires (une couleur par trajectoire) ; pointillé vert : l’espérance ; zone grise : μ ± 2σ/√n quand la variance est finie.

Loi tirée

Tirages de la dernière trajectoire0

Sa moyenne—

Écart à μ, en unités σ/√n—

Pour la loi de Pareto d’indice 1,5, l’espérance existe (elle vaut 3) mais pas la variance : la moyenne finit par converger, très lentement, par à-coups provoqués par de rares valeurs géantes, et sans couloir en 1/√n. Pour la loi de Cauchy, l’espérance elle-même n’existe pas : l’intégrale de |x| sous la densité est infinie. La moyenne de n tirages de Cauchy suit exactement la même loi de Cauchy qu’un seul tirage : en faire beaucoup n’apprend rien.

Signature — la marche aléatoire : trois résultats contre l’intuition

Un pas à droite ou à gauche, à pile ou face, indéfiniment. C’est le plus simple des processus aléatoires, et le plus déroutant : il s’éloigne de son point de départ bien plus qu’on ne croit, il revient à zéro bien plus souvent qu’on ne croit, et il passe presque tout son temps du même côté.

Après n pas, la position Sₙ a pour espérance 0 (autant de chances d’aller à droite qu’à gauche) et pour variance n, car les variances de pas indépendants s’additionnent. La marche s’éloigne donc typiquement de √n : 20 pas d’écart après 400 pas, 100 après 10 000. Lente, mais sans limite.

Deux cents marches (gris) et quelques-unes en couleur ; pointillés : ±√n et ±2√n.

Nombre de pas

Marches terminées0

Moyenne de Sₙ² contre n—

Moyenne de |Sₙ| contre la valeur exacte—

Marches finissant dans ±2√n—théorème central limite : environ 95 %

Un joueur possède a jetons, la banque N − a. À chaque coup il gagne ou perd un jeton, avec les probabilités p et 1 − p ; la partie s’arrête quand l’un des deux est ruiné. Avec un jeu équitable, la probabilité que le joueur ruine la banque est simplement a/N, et la partie dure en moyenne a·(N − a) coups — bien plus longtemps qu’on ne l’imagine.

Quelques parties : fortune du joueur au fil des coups, entre la ruine (0) et la victoire (N = 20).

Fortune initiale a Probabilité de gagner un coup p

P(ruiner la banque) exacte—

Comptée sur les parties—

Durée moyenne exacte—

Durée moyenne observée—

Sur une partie de 2n coups équitables, quelle fraction du temps le joueur passe-t-il en tête ? L’intuition dit « environ la moitié ». C’est exactement l’inverse : la fraction la moins probable est 1/2, et les plus probables sont 0 et 1. La loi de cette fraction tend vers la loi de l’arcsinus, de densité 1/(π√(x(1 − x))).

Histogramme de la fraction du temps passée au-dessus de zéro (bleu), loi exacte de Chung et Feller (points verts) et densité de l’arcsinus (courbe rouge).

Longueur de la partie 2n

Parties jouées0

P(en tête moins de 10 % ou plus de 90 % du temps) exacte—

Comptée sur les parties—

P(entre 45 % et 55 % du temps)—

Les trois résultats viennent du même fait : les pas sont indépendants et de moyenne nulle, si bien que la marche n’a aucune « force de rappel ». Elle ne revient pas vers zéro parce qu’elle s’en est éloignée ; elle revient par hasard, et le temps entre deux retours a une espérance infinie. Un joueur qui mène depuis longtemps n’a donc aucune raison d’être bientôt rejoint : la « loi des séries » que l’on croit voir dans un jeu équitable n’est que la loi de l’arcsinus.

Repères historiques

1654Correspondance de Pascal et Fermat sur le problème des partis : premiers calculs de probabilités raisonnés.
1713Publication posthume de l’Ars Conjectandi de Jacques Bernoulli, avec la première loi des grands nombres.
1763Essai posthume de Thomas Bayes sur la probabilité des causes ; Laplace en donne la forme générale en 1774.
1853–1867Irénée-Jules Bienaymé puis Pafnouti Tchebychev établissent l’inégalité qui porte leurs deux noms.
1900David Hilbert range l’axiomatisation des probabilités parmi les grands problèmes du siècle (sixième problème).
1902Henri Lebesgue définit la mesure et l’intégrale modernes : l’outil dont Kolmogorov aura besoin.
1933Andreï Kolmogorov publie les Grundbegriffe der Wahrscheinlichkeitsrechnung : la probabilité devient une mesure de masse 1 sur une tribu d’événements, et toute la théorie repose sur trois axiomes.
1950William Feller publie An Introduction to Probability Theory and Its Applications, qui popularise la marche aléatoire et la loi de l’arcsinus.

Ce qu’il faut retenir

Trois axiomes

Positivité, masse totale 1, additivité sur les suites d’événements incompatibles. Une probabilité se comporte comme une aire, et chaque axiome porte des théorèmes précis.

Des définitions, puis des théorèmes

Probabilité conditionnelle, variable aléatoire, espérance et variance sont des définitions. Bayes, Tchebychev et la loi des grands nombres sont des théorèmes déduits des axiomes.

Des hypothèses à vérifier

Chaque théorème a ses conditions : variance finie pour Tchebychev, espérance finie pour les grands nombres. Les lois de Pareto et de Cauchy montrent ce qui arrive quand elles manquent.

Pour aller plus loin

Pourquoi une tribu ? Sur un univers infini comme [0 ; 1], on ne peut pas attribuer une « longueur » cohérente à toutes les parties : Vitali (1905) a construit des ensembles qui rendraient l’axiome 3 contradictoire. On se limite donc à une famille d’événements, la tribu, assez riche pour contenir les intervalles et stable par complémentaire et réunion dénombrable.

Additivité finie ou dénombrable ? Certains auteurs, comme Bruno de Finetti, ont défendu une version de l’axiome 3 limitée aux réunions finies. Elle autorise la loi « uniforme » sur les entiers que l’onglet 2 de la planche 1 interdit, mais elle perd la continuité des probabilités, dont dépendent les théorèmes limites.

Indépendance. Elle aussi est une définition : A et B sont indépendants si P(A ∩ B) = P(A)·P(B). Les pas de la marche aléatoire sont supposés indépendants ; c’est cette hypothèse, et non les axiomes seuls, qui donne la variance n et l’échelle √n.