L'inégalité de Bienaymé-Tchebychev
Ce que l'on peut affirmer sur une loi dont on ne connaît que la moyenne et l'écart-type : une garantie grossière, mais valable pour toutes les lois — et qui suffit pour démontrer la loi des grands nombres, dimensionner un sondage ou approcher n'importe quelle fonction continue par des polynômes.
L'idée en une phrase
Une variable aléatoire ne peut pas s'éloigner souvent et loin de sa moyenne, car chaque grand écart « coûte » beaucoup de variance, et la variance totale est fixée.
Notons X une grandeur aléatoire (la taille d'une personne, le poids d'un paquet, le résultat d'un sondage), μ sa moyenne (espérance) et σ son écart-type, c'est-à-dire la racine carrée de la variance σ² = E[(X − μ)²], moyenne des carrés des écarts à la moyenne.
La probabilité de s'écarter de la moyenne d'au moins k écarts-types est au plus 1/k². Autrement dit, au moins 1 − 1/k² de la masse se trouve dans l'intervalle [μ − kσ, μ + kσ]. Forme équivalente avec un écart ε quelconque : P(|X − μ| ≥ ε) ≤ σ²/ε².
La force de cette inégalité est d'être universelle : aucune hypothèse sur la forme de la loi, seulement l'existence d'une variance. Son prix est d'être prudente : pour une loi particulière, la vraie probabilité est souvent bien plus petite. Le tableau compare la garantie universelle à ce que donne la loi normale (courbe en cloche).
| k (écarts-types) |
|---|
On lit encore souvent « Tchebycheff », transcription française du XIXᵉ siècle du nom russe Чебышёв ; la graphie actuelle est « Tchebychev ». Les pages voisines de la série (loi normale, théorie et méthodes de la statistique) supposent la loi connue ; celle-ci montre ce qui reste vrai quand on ne la connaît pas.
La marche sous la droite : l'inégalité de Markov
Question : si une grandeur positive vaut 1 en moyenne, quelle part de la population peut dépasser 5 ? Réponse sans rien savoir d'autre : au plus 1/5. C'est l'inégalité de Markov, la brique dont Tchebychev est fait.
La preuve tient dans le second dessin : la fonction « marche » qui vaut 1 si x ≥ a et 0 sinon reste toujours sous la droite x/a (pour x ≥ 0). En prenant la moyenne des deux côtés, la moyenne de la marche est P(X ≥ a), celle de la droite est E[X]/a.
De Markov à Tchebychev : élever l'écart au carré
Question : comment contrôler les écarts des deux côtés de la moyenne, alors que Markov ne parle que d'une grandeur positive ? Réponse : appliquer Markov au carré de l'écart, qui est positif et dont la moyenne est la variance.
Dans le panneau du bas, la marche « être au-delà de kσ » est encore dominée par une fonction dont on connaît la moyenne : la parabole (x − μ)²/(kσ)², dont la moyenne vaut exactement 1/k². Toutes les lois proposées sont réglées sur le même écart-type σ = 1.
La loi des grands nombres en trois lignes
Question : pourquoi la fréquence des piles finit-elle par se rapprocher de la probabilité p ? Tchebychev, appliqué à la moyenne de n lancers, le démontre (c'est ainsi qu'il l'a fait en 1867).
La moyenne X̄ₙ de n lancers indépendants a pour moyenne p et pour variance p(1 − p)/n : la variance d'une somme de grandeurs indépendantes est la somme des variances (c'est le point de Bienaymé), puis on divise par n². Tchebychev donne alors :
Trois usages : sondage, contrôle de fabrication, polynômes de Bernstein
Question : à quoi sert une borne aussi prudente ? À trois choses : garantir un résultat sans hypothèse sur la loi, justifier une méthode, et démontrer des théorèmes qui n'ont rien de probabiliste en apparence.
Un institut veut estimer une proportion à ± ε près avec un risque d'erreur α. La variance d'une réponse oui/non vaut au plus 1/4 (cas p = 1/2), d'où par Tchebychev n ≥ 1/(4ε²α), sans aucune approximation. L'usage courant, fondé sur l'approximation normale, donne n ≥ z²/(4ε²), où z est le quantile de la loi normale (1,96 pour α = 5 %).
Une machine remplit des paquets de 500 g. Le fournisseur annonce seulement l'écart-type σ. Quelle part des paquets peut s'écarter d'au moins d grammes de la cible ? Tchebychev répond au plus σ²/d², quelle que soit la façon dont la machine se dérègle : deux têtes de remplissage mal réglées, usure uniforme, ou pire.
Weierstrass (1885) : toute fonction continue sur [0 ; 1] peut être approchée d'aussi près que l'on veut par un polynôme. Bernstein (1912) en donne une preuve probabiliste. On lance n pièces de probabilité x et on note Sₙ le nombre de piles ; le polynôme
est une moyenne des valeurs de f pondérée par la loi binomiale. Comme Sₙ/n se concentre autour de x (Tchebychev : hors de x ± δ, il reste au plus x(1−x)/(nδ²) de poids), Bₙf(x) se rapproche de f(x). La borne obtenue : |Bₙf − f| ≤ ω(δ) + M/(4nδ²), où ω(δ) est la plus grande variation de f sur un intervalle de longueur δ et M l'écart entre le maximum et le minimum de f.
Peut-on faire mieux que 1/k² ?
Question : la borne de Tchebychev est-elle maladroite ? Non : sans autre information que μ et σ, elle est la meilleure possible. Mais dès que l'on en sait un peu plus — la loi n'a qu'une bosse, ou la grandeur est une moyenne de termes indépendants — on gagne, parfois énormément.
Raisonnons comme un comptable. La variance vaut 1 : c'est un budget. Placer une masse q à la distance d de la moyenne en dépense q·d². Pour mettre une masse au-delà de k, il faut donc payer au moins k² par unité de masse : avec un budget de 1, on ne peut pas dépasser 1/k². Essayons : la loi ci-dessous met q en −k et q en +k ; ce qui reste du budget est dépensé par la masse centrale, placée en ± c.
Si la loi n'a qu'une bosse (loi unimodale : la densité monte puis descend), la masse ne peut pas se concentrer en trois points isolés. Gauss (1823) l'avait vu pour un écart mesuré à partir du sommet ; Vysochanskij et Petunin (1980) l'ont démontré à partir de la moyenne : P(|X − μ| ≥ kσ) ≤ 4/(9k²) dès que k ≥ √(8/3) ≈ 1,633 — la borne de Tchebychev divisée par 2,25.
Pour une moyenne de n lancers, Tchebychev n'utilise que la variance de la moyenne. Or une moyenne de termes indépendants et bornés est bien plus disciplinée : l'inégalité de Hoeffding (1963), descendante des bornes de Chernoff (1952), donne P(|X̄ₙ − p| ≥ ε) ≤ 2 e−2nε², une décroissance exponentielle au lieu de 1/n.
Repères historiques
- 1823Gauss, dans sa théorie des erreurs d'observation, borne la probabilité d'une grande erreur pour les lois à une bosse : déjà le facteur 4/9.
- 1853Irénée-Jules Bienaymé, inspecteur des finances et statisticien, établit l'inégalité dans un mémoire aux Comptes rendus de l'Académie des sciences, en défendant la méthode des moindres carrés de Laplace. Il y montre aussi que les variances de grandeurs indépendantes s'additionnent.
- 1867Pafnouti Tchebychev, à Saint-Pétersbourg, la redécouvre dans « Des valeurs moyennes » (Journal de Liouville) et en tire la loi des grands nombres sous une forme générale. Il reconnaîtra ensuite la priorité de Bienaymé, avec qui il entretient des relations cordiales.
- 1880–1900Andreï Markov, élève de Tchebychev, emploie systématiquement la forme « P(X ≥ a) ≤ E[X]/a », qui porte aujourd'hui son nom.
- 1912Serge Bernstein utilise la loi des grands nombres pour démontrer le théorème d'approximation de Weierstrass : les polynômes de Bernstein, dont la base servira plus tard aux courbes de Bézier de la conception assistée par ordinateur.
- 1952–1963Herman Chernoff puis Wassily Hoeffding obtiennent des bornes exponentielles pour les sommes de variables indépendantes, aujourd'hui omniprésentes en apprentissage statistique.
- 1980Vysochanskij et Petunin démontrent la borne 4/(9k²) pour les lois unimodales autour de la moyenne ; Pukelsheim (1994) en fait la justification de la règle des trois sigmas.
Le principe
Une grandeur positive ne peut pas être souvent grande sans que sa moyenne le soit (Markov). Appliqué au carré de l'écart, cela donne P(|X − μ| ≥ kσ) ≤ 1/k².
La force
Aucune hypothèse sur la loi, seulement une variance finie. Assez pour démontrer la loi des grands nombres, garantir un contrôle qualité ou prouver le théorème de Weierstrass.
La limite
La borne est optimale pour l'ensemble des lois, donc très prudente pour chaque loi particulière. Une bosse unique divise la borne par 2,25 ; l'indépendance des termes d'une somme la rend exponentielle.
Pour aller plus loin
Cantelli (version unilatérale). Pour un seul côté, P(X − μ ≥ kσ) ≤ 1/(1 + k²), meilleur que 1/k² et lui aussi optimal.
Moments d'ordre supérieur. Markov appliqué à |X − μ|ʳ donne P(|X − μ| ≥ ε) ≤ E|X − μ|ʳ/εʳ : plus on connaît de moments, plus la borne décroît vite. Les bornes de Chernoff poussent l'idée à la limite en utilisant E[e^(tX)].
Forme multidimensionnelle. Pour un vecteur aléatoire de matrice de covariance Σ, la distance de Mahalanobis vérifie P((X − μ)ᵀΣ⁻¹(X − μ) ≥ k²) ≤ d/k², où d est la dimension.
Loi forte. Tchebychev donne la loi faible (convergence en probabilité). La loi forte (convergence presque sûre, Borel 1909, Kolmogorov 1930) demande des arguments plus fins, mais s'appuie encore sur des inégalités de la même famille (inégalité maximale de Kolmogorov).