Probabilités

Le théorème central limite et ses applications

Pourquoi la courbe en cloche apparaît dès qu’on additionne beaucoup de petites causes indépendantes — à quelle vitesse, et quand elle n’apparaît pas.

L’idée en une phrase. Additionnons un grand nombre de petites quantités aléatoires, indépendantes les unes des autres : quelle que soit la loi de chacune — un dé, une durée d’attente, une erreur d’arrondi —, la loi de la somme prend presque toujours la même forme, celle de la courbe en cloche de la loi normale.

La loi des grands nombres disait déjà que la moyenne X̄ₙ de n tirages se rapproche de l’espérance μ, avec un écart typique σ/√n (σ est l’écart-type, la dispersion d’un tirage autour de sa moyenne). Le théorème central limite dit en plus comment se répartissent ces écarts : une fois divisés par σ/√n, ils suivent la loi normale centrée réduite, dont la fonction de répartition se note Φ.

Énoncé	Ce qu’il affirme	Auteurs
Théorème central limite	Si X₁, …, Xₙ sont indépendantes, de même loi, d’espérance μ et de variance σ² finie, alors Zₙ = (X₁ + … + Xₙ − nμ)/(σ√n) vérifie P(Zₙ ≤ z) → Φ(z) pour tout z.	De Moivre (1733) pour pile ou face, Laplace (1810) en général ; démonstrations rigoureuses de Liapounov (1901) et Lindeberg (1922)
Forme pratique	La somme Sₙ suit à peu près la loi normale de moyenne nμ et d’écart-type σ√n ; la moyenne X̄ₙ, celle de moyenne μ et d’écart-type σ/√n.	c’est elle qu’on utilise dans les sondages, les contrôles de fabrication, les calculs de délais
Vitesse	Inégalité de Berry-Esseen : l’écart entre les deux fonctions de répartition ne dépasse jamais C·ρ/(σ³√n), où ρ = E\|X − μ\|³ et C ≤ 0,4748.	Berry (1941), Esseen (1942) ; constante de Shevtsova (2011)
Conditions	Indépendance et variance finie. Sans variance finie, la somme ne devient pas normale : la planche 5 le montre.	Lévy et Feller (1935) : conditions nécessaires

Additionner des dés : la cloche apparaît

Avec un seul dé, chaque face a la même chance : la loi est plate. Lançons-en deux et additionnons : 7 sort six fois plus souvent que 2, parce que six combinaisons y mènent contre une seule. Avec cinq, dix, quarante dés, les sommes du milieu deviennent écrasantes et le profil prend la forme d’une cloche. La page calcule la loi exacte de la somme (par convolution, c’est-à-dire en comptant toutes les combinaisons) et la compare à la loi normale de même moyenne nμ et de même écart-type σ√n.

Le dernier lancer simulé et sa somme.

Barres bleues : loi exacte de la somme. Traits orange : fréquences observées dans la simulation. Courbe rouge : la loi normale prévue par le théorème central limite. En bas à droite, la loi d’un seul dé.

Dé Nombre de dés n

Somme : moyenne nμ et écart-type σ√n—

Lancers simulés—

Somme la plus probable : probabilité exacte et normale—

Écart maximal entre les répartitions exacte et normale—

Asymétrie de la somme γ/√n—

La cloche apparaît très vite : avec le dé équilibré, l’écart entre les deux fonctions de répartition passe sous 1 % dès 3 dés. Le dé en U, dont la loi ne ressemble pourtant en rien à une cloche, n’en demande que 5. Le dé très asymétrique est plus lent : il lui en faut 86, car son asymétrie ne s’efface que comme 1/√n. Ce n’est pas la forme de départ qui ralentit la convergence, c’est le déséquilibre entre la gauche et la droite.

Toutes les lois mènent à la cloche — mais pas à la même vitesse

Pour comparer des lois différentes, on standardise la somme : on lui retire sa moyenne nμ et on la divise par son écart-type σ√n. La variable obtenue, Zₙ, a toujours pour moyenne 0 et pour écart-type 1 ; le théorème dit que sa loi tend vers la loi normale. Pour chaque loi proposée ici, la loi de la somme est connue exactement : loi d’Irwin-Hall pour les uniformes (calculée en entiers, sans arrondi), loi gamma pour les exponentielles et les khi-deux, loi binomiale pour les Bernoulli. On mesure donc l’écart réel, sans simulation.

Densité exacte de Zₙ (bleu ; en barres pour une loi discrète) et densité normale (rouge).

Écart Fₙ(z) − Φ(z) entre les fonctions de répartition (bleu) et sa prévision par le développement d’Edgeworth (violet, en pointillé) ; l’échelle verticale s’ajuste à chaque réglage.

Loi d’un terme Nombre de termes n

Écart maximal exact sup |Fₙ − Φ|—

Écart × √n et écart × n—

Prévision d’Edgeworth—

Borne de Berry-Esseen 0,4748·ρ/(σ³√n)—

Termes nécessaires pour un écart inférieur à 1 %—

Pour l’exponentielle, l’écart × √n se fige sur 0,1330, la valeur γ/(6√(2π)) prévue par Edgeworth à partir de la seule asymétrie γ = 2 : l’erreur ne décroît qu’en 1/√n. Pour l’uniforme, symétrique, c’est l’écart × n qui se fige (0,0276) : la convergence est bien plus rapide. Il suffit ainsi de 3 uniformes pour descendre sous 1 %, contre 177 exponentielles, 354 khi-deux et 7 094 Bernoulli de paramètre 0,1 — loi asymétrique dont, en plus, la répartition avance par sauts. La borne de Berry-Esseen est toujours respectée, mais elle est prudente : à n = 100, elle vaut 8,6 fois l’écart réel pour l’exponentielle.

Additionner de petites incertitudes : trois usages concrets

Le théorème sert chaque fois qu’un total résulte de nombreuses contributions indépendantes : on n’a besoin que de la moyenne et de l’écart-type d’une contribution pour connaître, à peu près, toute la loi du total. Dans les trois cas ci-dessous, la loi exacte du total est aussi calculée, ce qui permet de juger l’approximation.

Pour estimer le total d’un caddie, on arrondit chaque prix à l’euro le plus proche et on additionne de tête. Chaque arrondi commet une erreur comprise entre −0,50 € et +0,50 €, uniformément répartie. Au pire, les erreurs s’ajoutent toutes dans le même sens : n × 0,50 €. Mais elles se compensent en partie, et leur somme a pour écart-type √(n/12) seulement.

Loi exacte de l’erreur totale (bleu, loi d’Irwin-Hall), loi normale (rouge) et erreurs de caddies simulés (orange). La bande verte est la tolérance ±t.

Nombre d’articles n Tolérance t

P(erreur totale entre −t et +t) exacte—

Même probabilité par la loi normale—

Erreur maximale possible et écart-type—

Tolérance garantie à 95 % : exacte et normale—

Un ascenseur de 630 kg est prévu pour 8 personnes (la norme compte 75 kg par personne). Dans ce modèle illustratif, les passagers sont pour moitié des femmes (moyenne 66 kg, écart-type 12 kg) et pour moitié des hommes (80 kg, 14 kg), poids arrondis au kilogramme. Quelle est la probabilité de surcharge ? La loi exacte de la somme est obtenue en convoluant n fois la loi d’un passager.

Loi exacte de la charge totale (bleu), loi normale (rouge) et ascenseurs simulés (orange). La zone rouge est la surcharge.

Passagers n Charge maximale

P(surcharge) exacte—

P(surcharge) par la loi normale—

Un passager : moyenne et écart-type—

Passagers admissibles pour un risque < 1 %—

Un chantier enchaîne n étapes. Chacune dure au moins 2 jours, plus un retard aléatoire de loi gamma (moyenne 2,4 jours, écart-type 1,7 jour) : les petits retards sont fréquents, les gros sont rares mais possibles. La durée totale suit exactement une loi gamma décalée. La méthode PERT, utilisée en gestion de projet, l’approche par la loi normale.

Loi exacte de la durée totale (bleu), loi normale (rouge) et chantiers simulés (orange). La zone verte est « délai tenu ».

Étapes n Délai annoncé

P(délai tenu) exacte—

P(délai tenu) par la loi normale—

Délai à annoncer pour 95 % de réussite—

Chance réelle de tenir le délai « normal » à 95 %—

Le caddie montre l’effet le plus utile du théorème : avec 30 articles, l’erreur peut atteindre 15 € mais son écart-type n’est que de 1,58 €, et 95 % des caddies tombent à ±3,10 € près. L’ascenseur montre la sensibilité du risque : 7 passagers donnent 0,15 % de surcharge, 8 en donnent déjà 13,5 %. Le chantier montre la limite : les retards sont asymétriques, et le délai « à 95 % » calculé par la loi normale n’est tenu en réalité que dans 93,9 % des cas avec 10 étapes — la cloche sous-estime toujours les longues queues à droite.

La marge d’erreur d’un sondage et l’intervalle de confiance

On ne connaît pas la moyenne μ d’une population ; on tire un échantillon de n individus et on calcule sa moyenne x̄ et son écart-type s. Le théorème central limite dit que x̄ s’écarte de μ de moins de 1,96·σ/√n dans 95 % des cas. D’où l’intervalle de confiance x̄ ± 1,96·s/√n, et pour un sondage la célèbre marge d’erreur ±1,96·√(p̂(1 − p̂)/n), soit ±3,1 points pour 1 000 personnes. Mais « 95 % » n’est qu’une promesse asymptotique : vérifions-la en tirant des milliers d’échantillons.

Les derniers intervalles tirés (60 sur grand écran). Vert : la vraie moyenne μ. Bleu : l’intervalle contient μ. Rouge : il le manque — trait plein s’il est entièrement trop bas, en pointillé s’il est trop haut.

Histogramme de la statistique (x̄ − μ)/(s/√n) sur tous les échantillons tirés, et densité normale (rouge). Les deux traits gris marquent ±1,96.

Population Taille de l’échantillon n

Taux de couverture mesuré—

Taux de couverture exact—

Intervalles trop bas / trop hauts—

Demi-largeur moyenne et 1,96·σ/√n—

Pour une population normale ou un sondage équilibré, la promesse est presque tenue, et la page retrouve à la simulation les taux exacts (loi de Student, loi binomiale). Pour une population très asymétrique comme les revenus (log-normale), la couverture n’est que de 91,3 % à n = 100, et les erreurs ne sont pas symétriques : 8,2 % d’intervalles trop bas contre 0,5 % de trop hauts. Un échantillon qui manque les très gros revenus sous-estime à la fois la moyenne et la dispersion : l’intervalle est trop court précisément quand il est mal placé.

Signature — pourquoi la cloche ?

Additionner deux copies indépendantes d’une variable, puis diviser par √2 pour garder la même dispersion : voilà une opération qui transforme une loi en une autre. La loi normale est la seule loi de variance finie qui ne change pas sous cette opération : c’est son point fixe. Le théorème central limite dit que toute loi de variance finie y est attirée. Le second volet montre ce qui se passe quand la variance est infinie.

Dessinez une densité à la souris ou au doigt dans le cadre (ou choisissez un modèle), puis additionnez-la à elle-même : chaque clic double le nombre de termes. La page calcule la convolution sur une grille de 1 601 points, sans tirage au hasard.

Orange : votre dessin. Bleu : la loi de (X₁ + … + Xₙ) ramenée à moyenne 0 et écart-type 1. Rouge pointillé : la loi normale.

À gauche, l’entropie H de la loi à chaque étape et son maximum ½ ln(2πe) (rouge) ; à droite, la distance à la loi normale ∫|f − φ|, en échelle logarithmique.

Modèle

Nombre de termes n = 2ᵏ—

Asymétrie mesurée et prévue (étape précédente ÷ √2)—

Aplatissement (kurtosis) mesuré et prévu (÷ 2)—

Entropie H et maximum ½ ln(2πe)—

Distance à la normale ∫|f − φ|—

Prenons des termes symétriques de loi de Pareto : |X| dépasse x avec probabilité 1/x^α pour x ≥ 1. Pour α > 2 la variance est finie ; pour α ≤ 2 elle est infinie. La page tire 3 000 sommes pour chaque n de 1 à 1 024 et mesure leur taille typique (la médiane de |Sₙ|). Si le théorème s’applique, elle doit croître comme √n, c’est-à-dire avec une pente 1/2 en échelles logarithmiques.

Taille typique de la somme selon n (points bleus) et droite ajustée pour n ≥ 16. Vert pointillé : pente 1/2 du théorème central limite ; rouge pointillé : pente 1/α.

Loi de S₁₀₂₄ divisée par sa taille typique, en échelle logarithmique verticale, comparée à la loi normale de même taille typique (rouge).

Exposant de queue α

Pente mesurée et pente prévue—

Plus grand terme ÷ taille typique de la somme—

Sommes au-delà de 5 fois la taille typique—

Volet 1 : quelle que soit la forme dessinée, l’asymétrie est divisée par √2 et l’aplatissement par 2 à chaque doublement — la page le vérifie à chaque étape — et l’entropie monte vers son plafond ½ ln(2πe) = 1,4189 sans jamais le dépasser : la loi normale est la loi la plus « désordonnée » à variance donnée, et l’addition ne fait qu’augmenter le désordre (Artstein, Ball, Barthe et Naor, 2004). Volet 2 : pour α = 1,5, la pente mesurée est 0,69 au lieu de 0,5, et le plus grand terme pèse autant que toute la somme : un seul tirage exceptionnel fait le résultat. La somme converge encore vers une loi limite, mais c’est une loi « stable » à queues lourdes, pas la cloche.

Repères historiques

1733Abraham de Moivre approche la loi du nombre de piles en n lancers par la courbe e^(−x²) : première apparition de la loi normale.
1809Carl Friedrich Gauss justifie la loi normale des erreurs de mesure par la méthode des moindres carrés ; le théorème de Laplace lui donne ensuite une raison d’être : une erreur est la somme de nombreuses petites causes.
1810Pierre-Simon Laplace étend le résultat à des sommes de variables quelconques ; il le reprend dans sa Théorie analytique des probabilités (1812).
1887Pafnouti Tchebychev propose une démonstration par la méthode des moments, que son élève Andreï Markov complète.
1901Alexandre Liapounov donne la première démonstration rigoureuse générale, grâce aux fonctions caractéristiques.
1920George Pólya baptise le résultat « théorème central limite » (zentraler Grenzwertsatz), central parce qu’il est au cœur du calcul des probabilités.
1922Jarl Waldemar Lindeberg énonce la condition qui porte son nom ; Paul Lévy et William Feller montrent en 1935 qu’elle est presque nécessaire.
1941–1942Andrew Berry et Carl-Gustav Esseen mesurent la vitesse de convergence.
2004Shiri Artstein, Keith Ball, Franck Barthe et Assaf Naor démontrent que l’entropie de la somme normalisée croît à chaque terme ajouté, résolvant un problème posé par Claude Shannon.

Ce qu’il faut retenir

La cloche est universelle

Une somme de nombreux termes indépendants de variance finie suit à peu près la loi normale de moyenne nμ et d’écart-type σ√n, quelle que soit la loi d’un terme.

La vitesse dépend de l’asymétrie

L’écart à la loi normale décroît comme γ/√n pour une loi asymétrique, comme 1/n pour une loi symétrique. Pour les queues de distribution et les lois très asymétriques, la cloche reste un peu optimiste.

Il faut une variance finie

Sans variance finie, la somme est dominée par ses plus grands termes et converge vers une autre loi, à queues lourdes. La loi normale est le point fixe de l’addition et la loi d’entropie maximale.

Pour aller plus loin

Idée de la démonstration. La fonction caractéristique φ(t) = E[e^(itX)] transforme une somme indépendante en produit. Pour une variable centrée réduite, φ(t) = 1 − t²/2 + o(t²), donc celle de Zₙ vaut (1 − t²/(2n) + o(1/n))ⁿ, qui tend vers e^(−t²/2), la fonction caractéristique de la loi normale. Le théorème de continuité de Lévy permet de conclure.

Le développement d’Edgeworth précise l’erreur : Fₙ(z) ≈ Φ(z) − φ(z)·[γ(z² − 1)/(6√n) + κ(z³ − 3z)/(24n) + γ²(z⁵ − 10z³ + 15z)/(72n)], où γ est l’asymétrie et κ l’excès d’aplatissement (kurtosis) d’un terme. Pour une loi à valeurs entières s’ajoute un terme en dents de scie, dû aux sauts de la répartition.

Variables non identiques ou dépendantes. La condition de Lindeberg permet des termes de lois différentes, pourvu qu’aucun ne domine ; des versions existent pour des variables faiblement dépendantes (chaînes de Markov, séries temporelles), avec une variance corrigée.