Statistique

Une histoire de l’inférence statistique

Comment passer de quelques observations à une conclusion sur ce qu’on n’a pas observé ? De Bayes et Laplace à Fisher, deux siècles pour inventer la probabilité des causes, la loi des erreurs, le test du khi-deux, la loi de Student et le test par randomisation. Chaque épisode est rejoué sur les données d’origine, et chaque chiffre est recalculé par la page.

De quoi parle-t-on ? La statistique a d’abord été descriptive : compter les naissances, les décès, les habitants (Graunt, Quetelet ; une autre page de ce cahier raconte cette histoire et celle des sondages). L’inférence statistique pose une question plus audacieuse : à partir d’un échantillon, que peut-on dire, avec quelle certitude, de la cause ou de la loi qui l’a produit ? Les réponses sont venues par étapes, souvent à l’occasion d’un problème très concret : des naissances à Paris, l’orbite d’une planète, des dés lancés 26 306 fois, un somnifère, des plants de maïs.

Épisode	Question	Idée nouvelle	Planche
Bayes 1763, Laplace 1774 et 1781	Quelle cause a produit ces observations ?	la probabilité « a posteriori » d’un paramètre	1
Gauss 1809	Comment combiner des mesures imprécises ?	la loi normale des erreurs et les moindres carrés	2
Pearson 1900	Ces données suivent-elles le modèle ?	le test du khi-deux et la probabilité d’un écart	3
Student 1908	Que dire avec très peu de mesures ?	la loi exacte de t pour les petits échantillons	4
Fisher 1935	Sur quoi fonder un test ?	la randomisation : le hasard introduit par l’expérimentateur	5

1763–1781 : Bayes, Laplace et la probabilité des causes

Le pasteur Thomas Bayes imagine un billard : une première boule s’arrête au hasard à une position p (de 0 à 1), puis on lance n autres boules et l’on note seulement combien, s, s’arrêtent à gauche de la première. Que sait-on de p ? Son essai, publié en 1763 par Richard Price après sa mort, donne la réponse : la loi de p sachant s, dite a posteriori, a une densité proportionnelle à pˢ(1 − p)ⁿ⁻ˢ. Laplace retrouve l’idée en 1774, en tire la règle de succession (la probabilité que la boule suivante tombe à gauche vaut (s + 1)/(n + 2)) et l’applique en 1781 aux baptêmes de Paris sur vingt-six ans : 251 527 garçons pour 241 945 filles. La probabilité qu’un garçon naisse plus souvent qu’une fille est-elle due au hasard ?

À gauche : le billard de Bayes vu de dessus — la ligne rouge est la position p de la première boule (cachée à l’observateur), les boules bleues sont à gauche, les grises à droite ; dessous, la densité a posteriori de p. À droite : la loi a posteriori de la probabilité x qu’un baptisé soit un garçon, d’après une part choisie des données de Paris ; l’aire à gauche de ½ (rouge) est la probabilité que les garçons ne soient pas favorisés.

Boules lancées n Part des baptêmes de Paris

Billard : boules à gauche s sur n—

Règle de succession (s + 1)/(n + 2)—

Paris : probabilité que x ≤ ½—

Avec toutes les données de Paris, la probabilité que les garçons ne soient pas favorisés tombe à environ 1,15·10⁻⁴², le chiffre que Laplace calcule à la main en 1781 : une quasi-certitude. Avec 1 % seulement des mêmes baptêmes, elle n’est plus que de quelques pour cent. C’est la première fois qu’on chiffre la force d’une preuve tirée d’une statistique, et la question de la loi « a priori » (ici uniforme) divisera les statisticiens pendant deux siècles.

1809 : Gauss et la loi des erreurs

Les astronomes refont plusieurs fois la même mesure et obtiennent des valeurs un peu différentes. Laquelle retenir ? En 1774, Laplace propose une loi des erreurs en e^(−|x|), dont le meilleur estimateur est la médiane. En 1809, dans sa Théorie du mouvement des corps célestes (après avoir retrouvé la planète naine Cérès en 1801), Carl Friedrich Gauss renverse le problème : puisque tout le monde fait la moyenne, quelle loi des erreurs rend la moyenne arithmétique toujours la valeur la plus probable ? Il trouve la loi en e^(−h²x²), la loi normale, et en déduit la méthode des moindres carrés publiée par Legendre en 1805. Ici, la loi des erreurs est en e^(−|x|^q) : réglez q et regardez quelle valeur θ rend les mesures les plus probables.

À gauche : les sept mesures (déplaçables à la souris ou au doigt), avec la valeur la plus probable θ* (rouge), la moyenne (bleu), la médiane (orange) et le milieu de l’étendue (violet). À droite : la somme Σ|xᵢ − θ|^q, que la valeur la plus probable rend minimale, en fonction de θ.

Exposant de la loi des erreurs q

Valeur la plus probable θ*—

Moyenne / médiane / milieu—

Écart de θ* à la moyenne—

Pour q = 2, θ* coïncide avec la moyenne quelles que soient les mesures (déplacez-les) : c’est le résultat de Gauss. Pour q = 1, la loi de Laplace de 1774, θ* est la médiane ; pour q grand, θ* glisse vers le milieu de l’étendue. Le choix de la moyenne est donc lié à une hypothèse sur les erreurs. Laplace donnera en 1810 la meilleure raison de choisir la loi normale : la somme de nombreuses petites erreurs indépendantes tend vers elle, quelle que soit leur loi (le théorème central limite).

1900 : Karl Pearson et les dés de Weldon

Le biologiste Raphael Weldon a lancé 12 dés 26 306 fois en comptant à chaque fois les dés tombés sur 5 ou sur 6. Si les dés sont parfaits, ce nombre suit la loi binomiale de paramètres 12 et ⅓. En 1900, Karl Pearson publie un critère pour juger l’accord entre des effectifs observés O et des effectifs attendus E : χ² = Σ(O − E)²/E. Surtout, il calcule la loi de ce nombre quand le modèle est vrai, ce qui permet de dire si l’écart observé est plausible : c’est le premier test statistique d’ajustement général. Ici, les cases « 10, 11 et 12 dés » sont regroupées, car leurs effectifs attendus sont trop petits pour que la loi du χ² s’applique.

À gauche : effectifs observés par Weldon (barres bleues) et effectifs attendus (traits rouges) selon le modèle choisi ; la contribution de chaque case au χ² s’affiche dessous à mesure qu’elle est ajoutée. À droite : la loi du χ² (courbe verte), l’histogramme des χ² obtenus en relançant des dés parfaits par simulation (barres grises) et la valeur observée (rouge).

Modèle

χ² observé—

Probabilité d’un écart au moins aussi grand—

Contrôle : dés parfaits simulés—

Avec des dés parfaits, un écart aussi grand n’arriverait qu’environ une fois sur 10 000 : Pearson conclut que les dés de Weldon ne sont pas parfaits (il publie χ² ≈ 43,9 et P ≈ 0,000016 sur 13 cases, avec quelques erreurs de calcul ; recalculé sur les mêmes 13 cases, on trouve 41,3, et la conclusion reste la même avec les cases regroupées). En estimant la probabilité sur les données, on trouve 0,3377 : les 5 et les 6 sortent un peu plus souvent, peut-être parce que les points creusés allègent ces faces. L’accord devient alors acceptable. La perte d’un degré de liberté pour un paramètre estimé ne sera établie que par Fisher, en 1922.

1908 : Student et les petits échantillons

William Gosset, chimiste à la brasserie Guinness de Dublin, travaille sur quelques mesures à la fois (lots d’orge, cuves de bière). Il remarque qu’en divisant l’écart x̄ − μ par l’écart-type s estimé sur l’échantillon, on obtient une variable plus dispersée que la loi normale. Pour vérifier sa formule, il écrit sur 3 000 cartes les tailles de 3 000 criminels, les mélange et en tire 750 échantillons de 4 : une simulation de Monte-Carlo faite à la main. Il publie en 1908, sous le pseudonyme « Student », la loi exacte de t = (x̄ − μ)/(s/√n), et l’applique aux heures de sommeil gagnées par dix patients avec un somnifère (données de Cushny et Peebles).

À gauche : la simulation de Gosset rejouée — les 3 000 tailles (petits traits gris) et le dernier échantillon tiré (points bleus) ; dessous, l’histogramme des t obtenus. Comparez la loi de Student (bleu) et la loi normale (vert pointillé). À droite : les dix gains de sommeil de Cushny et Peebles, leur moyenne et son intervalle à 95 % selon Student (bleu) et selon la loi normale (vert).

Taille des échantillons n

Échantillons tirés—

Part des |t| > 1,96 : mesurée / Student / normale—

Somnifère : t et probabilité selon Student—

Avec des échantillons de 4, la loi normale annonce 5 % de |t| au-delà de 1,96 ; la simulation en trouve environ 14 %, comme la loi de Student. Pour le somnifère, t = 4,06 avec 9 degrés de liberté : Student écrit que la probabilité que le produit soit efficace vaut 0,9985 ; la loi de Student donne en effet une probabilité de 0,0014 pour un écart au moins aussi grand. Guinness interdisait à ses employés de publier sous leur nom : la loi la plus utilisée des laboratoires porte un pseudonyme.

Signature — 1935 : Fisher, le maïs de Darwin et le hasard comme preuve

Darwin avait fait pousser 15 paires de pieds de maïs, l’un issu d’une fécondation croisée, l’autre d’une autofécondation, dans le même pot. Les croisés étaient-ils plus grands par hasard ? Dans The Design of Experiments (1935), Ronald Fisher propose un raisonnement nouveau. Si le mode de fécondation n’a aucun effet, l’étiquette « croisé » ou « autofécondé » dans chaque paire est arbitraire : chaque différence aurait pu avoir le signe opposé. Il y a 2¹⁵ = 32 768 façons d’attribuer les signes, toutes également probables. On les énumère toutes et l’on compte celles qui donnent une somme au moins égale à celle observée. Aucune loi normale n’est supposée : c’est le test par randomisation, justifié par le tirage au sort que l’expérimentateur doit faire lui-même.

À gauche : les 15 différences de hauteur (croisé − autofécondé, en huitièmes de pouce, données citées par Fisher) avec le jeu de signes en cours d’examen. À droite : la distribution des sommes sur les jeux de signes déjà énumérés ; en rouge, ceux qui atteignent la somme observée.

Effet retranché δ (huitièmes de pouce)

Jeux de signes énumérés—

Sommes au moins égales à l’observée—

Contrôle : test de Student—

Intervalle de confiance par inversion du test—

Fisher trouve 863 jeux de signes sur 32 768 donnant une somme au moins égale à l’observée, soit 2,63 % : la page retrouve exactement ce nombre. En bilatéral, 5,27 % : l’effet nul est tout juste à la limite. Le test de Student, qui suppose des erreurs normales, donne 2,49 %, très proche. Mais l’argument de Fisher ne suppose rien sur la forme des erreurs : il repose sur le tirage au sort introduit par l’expérimentateur. En retranchant un effet δ à chaque différence, on obtient aussi l’ensemble des effets compatibles avec les données : un intervalle de confiance sans formule. Le curseur montre comment. Deux ans plus tôt, Neyman et Pearson avaient formalisé les tests comme des règles de décision : la querelle entre leur école et celle de Fisher a façonné la statistique du XXᵉ siècle.

Repères historiques

1710John Arbuthnot constate 82 années consécutives d’excès de baptêmes de garçons à Londres : le premier test de signification, sans le nom.
1763Publication posthume de l’essai de Thomas Bayes par Richard Price : la probabilité d’une cause d’après ses effets.
1774Laplace, Mémoire sur la probabilité des causes par les événements ; première loi des erreurs, en e^(−|x|).
1781Laplace calcule la probabilité que l’excès de garçons à Paris soit dû au hasard : environ 10⁻⁴².
1805Adrien-Marie Legendre publie la méthode des moindres carrés.
1809Gauss justifie les moindres carrés par la loi normale des erreurs ; en 1810, Laplace démontre le théorème central limite.
1885Francis Galton découvre la régression vers la moyenne ; Karl Pearson formalise le coefficient de corrélation en 1896.
1900Pearson publie le test du khi-deux, appliqué aux dés de Weldon.
1908Student (William Gosset) publie la loi de t pour les petits échantillons.
1922Ronald Fisher pose les fondements de la statistique théorique : vraisemblance, information, exhaustivité, degrés de liberté.
1925Fisher, Statistical Methods for Research Workers : les tests et la p-valeur au service des laboratoires.
1933Jerzy Neyman et Egon Pearson : risques de première et de seconde espèce, puissance, lemme fondamental.
1935Fisher, The Design of Experiments : randomisation, plans d’expérience, test par permutation sur le maïs de Darwin.
1937Neyman publie la théorie des intervalles de confiance.

Ce qu’il faut retenir

Deux façons de raisonner

Laplace calcule la probabilité d’une cause sachant les données (à condition de choisir une loi a priori) ; Pearson, Student et Fisher calculent la probabilité des données sous une hypothèse. Les deux écoles, bayésienne et fréquentiste, coexistent toujours.

Des modèles d’erreur

La moyenne, la loi normale, t et χ² naissent de questions pratiques : combiner des mesures, juger un accord, travailler avec peu de données. Chaque outil repose sur une hypothèse qu’il faut garder en tête.

Le hasard maîtrisé

Avec Fisher, le hasard n’est plus seulement subi mais introduit volontairement par le tirage au sort ; il devient la base logique du test et de l’intervalle de confiance.

Pour aller plus loin

Données. Baptêmes de Paris d’après le mémoire de Laplace (1781) ; dés de Weldon d’après Pearson (1900) ; gains de sommeil de Cushny et Peebles d’après Student (1908) ; maïs de Darwin en huitièmes de pouce d’après Fisher (1935). La population des 3 000 tailles est simulée par la page (Gosset avait utilisé les mesures de Macdonell).

Pages voisines du cahier. L’histoire de la statistique descriptive et des sondages (Graunt, Laplace 1802, Quetelet, Kiaer, Neyman 1934) ; l’histoire des probabilités (Pascal, Fermat, Bernoulli) ; les tests d’hypothèses ; les lois du khi-deux et de Fisher ; les intervalles de confiance ; le bootstrap.

Lectures. Stephen Stigler, The History of Statistics (1986) ; Anders Hald, A History of Mathematical Statistics from 1750 to 1930 (1998) ; David Salsburg, The Lady Tasting Tea (2001).