Probabilités

La loi du khi-deux et la loi de Fisher

Des sommes de carrés aux tests : comment mesurer un écart, une dispersion, une différence entre groupes.

Ces deux lois ne décrivent pas directement un phénomène naturel : elles décrivent des statistiques, c’est-à-dire des nombres calculés sur des échantillons. Elles servent à répondre à des questions comme « cet écart entre ce que j’observe et ce que j’attendais est-il trop grand pour être dû au hasard ? ». La loi du khi-deux (on écrit χ², la lettre grecque « khi ») est la loi d’une somme de carrés de variables normales ; la loi de Fisher (ou loi F) est celle d’un rapport de deux telles sommes. Le nombre de carrés additionnés s’appelle le nombre de degrés de liberté.

	Loi du χ² à k degrés de liberté	Loi de Fisher F(d₁, d₂)
Construction	Z₁² + Z₂² + … + Zₖ², avec Zᵢ normales centrées réduites indépendantes	(U/d₁) / (V/d₂), avec U ~ χ²(d₁) et V ~ χ²(d₂) indépendantes
Valeurs	positives	positives
Espérance	k	d₂/(d₂ − 2) si d₂ > 2 : proche de 1
Variance	2k	2d₂²(d₁ + d₂ − 2) / (d₁(d₂ − 2)²(d₂ − 4)) si d₂ > 4
Usages	variance d’un échantillon, test d’adéquation, test d’indépendance	comparer deux variances, analyse de la variance, régression

La loi du χ² : une somme de carrés

Tirons k nombres au hasard selon la loi normale centrée réduite, élevons-les au carré et additionnons. Le résultat est toujours positif ; en moyenne, chaque carré vaut 1, donc la somme vaut k en moyenne. Géométriquement, c’est le carré de la distance à l’origine d’un point tiré au hasard dans un espace à k dimensions selon une « cloche » normale. Pour k = 1 ou 2, la loi est décroissante ; dès k = 3, elle a une bosse, en k − 2, et elle se rapproche d’une loi normale quand k grandit.

À gauche, le dernier tirage : chaque barre est un carré Zᵢ², empilées pour former la somme. À droite, l’histogramme des sommes obtenues (bleu) et la densité exacte du χ²(k) (vert) ; zone rouge : les 5 % de valeurs les plus grandes, au-delà du quantile à 95 %.

Degrés de liberté k Seuil x

Espérance k et variance 2k contre les tirages—tirez des sommes

P(χ² ≤ x) par la fonction gamma incomplète—

Quantile à 95 % (dichotomie) contre la table—

Contrôle : aire totale sous la densité—Simpson, après le changement de variable x = t²

La densité vaut x^(k/2 − 1)·e^(−x/2) / (2^(k/2)·Γ(k/2)). Pour k = 2, c’est la loi exponentielle de moyenne 2 : le carré de la distance d’une fléchette normale au centre de la cible. Les quantiles de cette loi, longtemps lus dans des tables imprimées, sont ici recalculés par dichotomie sur la fonction de répartition ; ils coïncident avec les tables à trois décimales.

La loi de la variance d’un échantillon

Prenons n mesures d’une loi normale d’écart-type σ, et calculons leur variance empirique S² = Σ(xᵢ − x̄)²/(n − 1). Le rapport (n − 1)S²/σ² suit exactement la loi du χ² à n − 1 degrés de liberté (théorème de Cochran). Pourquoi pas n ? Parce que les écarts xᵢ − x̄ sont liés : leur somme est nulle, si bien qu’il n’y en a que n − 1 de « libres ». C’est l’origine de l’expression « degrés de liberté ». Ce résultat donne un intervalle de confiance pour σ, mais seulement si les données sont normales.

Histogramme de (n − 1)S²/σ² sur des milliers d’échantillons simulés ; courbe verte : χ²(n − 1) ; pointillé gris : χ²(n), qu’on obtiendrait si l’on connaissait la vraie moyenne.

Taille de l’échantillon n Loi des données

Moyenne de (n − 1)S²/σ² : n − 1 attendu—

Variance de (n − 1)S²/σ² : 2(n − 1) attendu—

Couverture de l’intervalle de confiance à 95 % pour σ²—

Intervalle (n − 1)S²/q₀,₉₇₅ ≤ σ² ≤ (n − 1)S²/q₀,₀₂₅—quantiles du χ²(n − 1)

Avec des données normales, l’intervalle de confiance contient la vraie variance 95 fois sur 100, quel que soit n : la simulation le confirme. Avec des données exponentielles, la moyenne reste juste, mais la dispersion de S² est bien plus grande que ne le prévoit le χ², et la couverture s’effondre. L’intervalle pour une variance est l’un des résultats les plus fragiles de la statistique classique : contrairement à la moyenne, il ne bénéficie pas du théorème central limite.

Le test du χ² de Pearson : l’écart entre l’observé et l’attendu

En 1900, Karl Pearson propose de mesurer l’écart entre des effectifs observés Oᵢ et des effectifs attendus Eᵢ par X² = Σ (Oᵢ − Eᵢ)²/Eᵢ. Chaque terme est le carré d’un écart rapporté à sa taille attendue. Quand les effectifs sont assez grands, chaque (Oᵢ − Eᵢ)/√Eᵢ ressemble à une variable normale, et X² suit approximativement la loi du χ² à (nombre de classes − 1) degrés de liberté — un degré est perdu parce que le total est fixé. Une valeur de X² trop grande signale un désaccord ; une valeur trop petite, un accord trop parfait pour être honnête.

À gauche, les effectifs observés des six faces (barres) et l’effectif attendu pour un dé équilibré (trait vert). À droite, la loi du χ²(5) et la valeur observée de X² (trait rouge) ; histogramme : X² calculé sur des milliers de séries simulées avec le dé réglé.

Lancers n Probabilité réelle du 6

X² = Σ (O − E)²/E—

p-valeur P(χ²(5) ≥ X²)—

Séries simulées : X² ≥ 11,07—simulez

En 1866, Gregor Mendel croise des pois à graines rondes et jaunes avec des pois à graines ridées et vertes. Sa théorie prévoit, à la deuxième génération, les proportions 9 : 3 : 3 : 1. Il observe 556 graines.

Loi du χ²(3) ; trait rouge : le X² de Mendel. Il tombe dans la zone des accords excellents.

X² de Mendel—

p-valeur P(χ²(3) ≥ X²)—

Fisher, 1936 : toutes les expériences réunies—

Avec un dé équilibré, X² dépasse 11,07 une fois sur vingt seulement : c’est le seuil du test à 5 %. Mais un dé légèrement pipé (un 6 sur 5 au lieu d’un sur 6) n’est démasqué qu’environ une fois sur dix en 120 lancers, et une fois sur trois seulement en 600 lancers. Quant à Mendel, chacune de ses expériences est en accord avec sa théorie ; c’est l’ensemble qui intrigue. En 1936, Ronald Fisher réunit toutes ses données et trouve un accord si parfait qu’il n’arriverait que quelques fois sur 100 000 (7 selon ses tables, 3 selon le calcul exact refait ici) : les résultats ont peut-être été « arrangés », sans doute de bonne foi, par un assistant ou par Mendel lui-même. Le débat n’est pas clos.

La loi de Fisher : le rapport de deux variances

Deux machines remplissent des bouteilles. Ont-elles la même régularité ? On mesure n₁ bouteilles de la première et n₂ de la seconde, et l’on compare leurs variances empiriques par le rapport F = S₁²/S₂². Si les deux machines ont réellement la même variance, d’après la planche 2, S₁²/σ² et S₂²/σ² sont des χ² divisés par leurs degrés de liberté, et σ² disparaît dans le rapport : F suit la loi de Fisher F(n₁ − 1, n₂ − 1). Elle tourne autour de 1, d’autant plus serrée que les échantillons sont grands.

Histogramme de S₁²/S₂² sur des paires d’échantillons de même variance (bleu) et densité de F(d₁, d₂) (vert). Les zones rouges contiennent chacune 2,5 % de probabilité : un rapport qui y tombe est jugé anormal au seuil de 5 %. Trait orange : le rapport des deux machines de l’exemple.

d₁ = n₁ − 1 d₂ = n₂ − 1 Écart-type de la machine 1 / machine 2

Espérance d₂/(d₂ − 2) contre simulation—

Quantiles 2,5 % et 97,5 % de F(d₁, d₂)—

Contrôle : aire sous la densité jusqu’au quantile 99,9 % (Simpson)—

Les deux machines : F observé et p-valeur bilatérale—mesurez les deux machines

La loi F n’est pas symétrique : son quantile bas n’est pas l’opposé de son quantile haut, mais son inverse après échange des degrés de liberté, F₀,₀₂₅(d₁, d₂) = 1/F₀,₉₇₅(d₂, d₁), vérifié ci-dessus. Avec 13 et 16 bouteilles (le réglage initial), il faut un rapport de variances supérieur à 2,96 pour conclure à une différence : comparer des variances demande beaucoup de données. Et comme pour la planche 2, le test suppose des données normales.

Signature — l’analyse de la variance : comparer des moyennes avec des variances

Trois engrais sont essayés chacun sur plusieurs parcelles. Les rendements moyens diffèrent un peu : est-ce l’effet des engrais ou le hasard des parcelles ? L’idée géniale de Fisher (Rothamsted, années 1920) est de découper la variabilité totale en deux parts. La variabilité entre les groupes mesure l’écart des moyennes de groupes à la moyenne générale ; la variabilité dans les groupes mesure la dispersion des parcelles autour de la moyenne de leur groupe. Si les engrais sont sans effet, les deux parts, rapportées à leurs degrés de liberté, estiment la même variance, et leur rapport suit la loi de Fisher.

À gauche, les parcelles de chaque groupe (points), la moyenne de chaque groupe (trait de couleur) et la moyenne générale (pointillé). À droite, la décomposition SCT = SCE + SCR : somme des carrés totale, entre groupes, résiduelle.

Loi F(k − 1, N − k) (vert), valeur observée (rouge), et histogramme des F obtenus en répétant l’expérience avec l’effet réglé (bleu).

Nombre de groupes k Parcelles par groupe Effet des engrais (en écarts-types)

Contrôle : SCT − (SCE + SCR)—

F = (SCE/(k − 1)) / (SCR/(N − k))—

p-valeur P(F(k − 1, N − k) ≥ F)—

Expériences répétées : proportion de F significatifs à 5 %—répétez l’expérience

Avec deux groupes : F = t² de Student—

L’analyse de la variance teste l’égalité de plusieurs moyennes en une seule fois, sans multiplier les comparaisons deux à deux (qui gonfleraient le risque de fausse alarme). Quand l’effet est nul, la proportion de F significatifs reste à 5 % : la loi de Fisher est exacte. Quand l’effet grandit, ou quand on ajoute des parcelles, cette proportion — la puissance du test — augmente. Avec deux groupes, l’analyse de la variance redonne exactement le test de Student : F est le carré de t.

Repères historiques

1875–1876Friedrich Robert Helmert obtient la loi de la somme des carrés des écarts d’un échantillon normal : c’est la loi du χ², avant son nom.
1900Karl Pearson publie le test du χ² d’ajustement, premier test statistique moderne, et nomme la loi.
1908William Gosset, sous le pseudonyme « Student », étudie les petits échantillons à la brasserie Guinness.
1922Ronald Fisher corrige Pearson sur le nombre de degrés de liberté du test d’indépendance : (lignes − 1) × (colonnes − 1).
1924–1925Fisher établit la loi du rapport de variances et publie l’analyse de la variance dans Statistical Methods for Research Workers.
1934George Snedecor tabule la loi et la nomme F en l’honneur de Fisher.
1936Fisher réanalyse les expériences de Mendel et les trouve « trop belles pour être vraies ».

Ce qu’il faut retenir

χ² : une somme de carrés

Somme de k carrés de normales indépendantes, de moyenne k et de variance 2k. Elle décrit la variance d’un échantillon normal, avec n − 1 degrés de liberté, et l’écart de Pearson entre observé et attendu.

F : un rapport de variances

Rapport de deux χ² divisés par leurs degrés de liberté, centré près de 1. Il sert à comparer deux dispersions et, par l’analyse de la variance, plusieurs moyennes à la fois.

Des conditions à respecter

Les lois sont exactes pour des données normales et indépendantes. Le test de Pearson demande des effectifs attendus suffisants (au moins 5 par classe, en pratique) ; les tests de variance sont sensibles à la non-normalité.

Pour aller plus loin

Lien avec la loi de Student. Si Z est normale centrée réduite et V ~ χ²(d) indépendante, T = Z/√(V/d) suit la loi de Student à d degrés de liberté, et T² suit F(1, d). C’est ce que vérifie la planche 5 avec deux groupes.

Le test d’indépendance. Pour un tableau croisé à r lignes et c colonnes, les effectifs attendus sous l’hypothèse d’indépendance sont (total de ligne × total de colonne)/total, et X² suit approximativement χ²((r − 1)(c − 1)). Les pages consacrées à l’analyse des correspondances développent cette statistique.

La loi gamma. Le χ²(k) est un cas particulier de la loi gamma, de paramètres k/2 et 1/2 ; la somme de deux χ² indépendants est un χ² dont les degrés de liberté s’additionnent.