Statistique

L'analyse de la variance (ANOVA)

Trois engrais, quatre régimes, cinq méthodes d'enseignement : les moyennes observées diffèrent toujours un peu. L'analyse de la variance dit si ces différences dépassent ce que le hasard produit d'habitude, en comparant la dispersion entre les groupes à la dispersion à l'intérieur des groupes.

La question et l'idée

On dispose de k groupes de mesures (par exemple le rendement de parcelles traitées par k engrais). L'hypothèse nulle H₀ dit que toutes les moyennes de population sont égales : μ₁ = μ₂ = … = μk. L'alternative dit qu'au moins une diffère.

Pourquoi ne pas comparer les groupes deux à deux par des tests t ? Parce qu'avec k groupes il y a k(k − 1)/2 comparaisons (6 pour 4 groupes, 15 pour 6), et les risques de fausse alerte s'additionnent. L'ANOVA fait un seul test global. Son idée, due à Ronald Fisher dans les années 1920 à la station agronomique de Rothamsted, tient en une phrase : si les groupes ne diffèrent pas, leurs moyennes ne devraient pas être plus dispersées que ce que laisse prévoir la variabilité à l'intérieur de chaque groupe.

F = (variance entre les groupes) / (variance dans les groupes) = [SCE/(k − 1)] / [SCR/(N − k)]

SCE (somme des carrés expliquée, ou inter-groupes) mesure l'écart des moyennes de groupe à la moyenne générale ; SCR (somme des carrés résiduelle, ou intra-groupes) mesure l'écart de chaque mesure à la moyenne de son groupe. N est le nombre total de mesures. Sous H₀, F tourne autour de 1 ; un F nettement plus grand signale un vrai effet.

1

Entre et dans les groupes : la décomposition de la variabilité

Idée en une phrase : l'écart de chaque mesure à la moyenne générale se coupe en deux morceaux, l'écart de son groupe à la moyenne générale et son écart propre à la moyenne de son groupe, et leurs carrés s'additionnent exactement.

Chaque point est une mesure, rangée dans la colonne de son groupe. Le trait gris est la moyenne générale, les traits colorés les moyennes de groupe. Pour un point, la flèche violette va de la moyenne générale à la moyenne du groupe (part expliquée par le groupe), la flèche orange de la moyenne du groupe au point (part résiduelle). L'animation parcourt les points un à un. À droite, les trois sommes de carrés : la somme totale SCT est toujours égale à SCE + SCR, c'est la formule de Huygens. Rapprochez les moyennes ou augmentez la dispersion interne : F s'effondre.

Les mesures par groupe. Gris pointillé : moyenne générale ; traits colorés : moyennes de groupe ; flèches : décomposition de l'écart du point en cours.
Sommes de carrés (barres) et carrés moyens : CME = SCE/(k − 1) et CMR = SCR/(N − k). Leur rapport est F.
Contrôle : SCT − (SCE + SCR)
Statistique F
p-valeur
Part de variabilité expliquée η² = SCE/SCT
Deux estimations de la même variance. Sous H₀, CMR et CME estiment tous deux σ² : le premier à partir de la dispersion interne, le second à partir de la dispersion des moyennes (multipliée par n, car une moyenne de n mesures varie n fois moins). Leur rapport F tourne alors autour de 1. Si les vraies moyennes diffèrent, CME gonfle et F grandit. L'écart de la décomposition, de l'ordre de 10⁻¹⁵, n'est que l'arrondi de la machine : l'égalité est exacte, car les écarts à la moyenne d'un groupe ont une somme nulle.
2

La loi F : ce que le hasard seul produit

Idée en une phrase : en répétant une expérience où H₀ est vraie, on voit les valeurs de F s'empiler selon une courbe précise, la loi de Fisher-Snedecor, qui sert à calculer la p-valeur.

Sous H₀ et si les mesures sont normales de même variance, F suit la loi F de Fisher-Snedecor à (k − 1, N − k) degrés de liberté. L'animation simule des milliers d'expériences avec des moyennes toutes égales et empile leurs F : l'histogramme épouse la densité théorique. Le seuil critique laisse 5 % de la courbe à sa droite ; la proportion des F simulés qui le dépassent doit donc valoir 5 %. Le curseur « vrai effet » permet aussi de voir ce que devient la distribution quand H₀ est fausse.

Histogramme des F simulés (vert) et densité de la loi F(k − 1, N − k) (noir). Trait rouge : seuil à 5 % ; zone rouge : 5 % de la loi au-delà du seuil. Trait bleu : F observé à la planche 1.
Degrés de liberté
Seuil critique F à 5 %
Part des F simulés au-delà du seuil
Moyenne des F simulés
Contrôle : aire sous la densité
Pourquoi un test unilatéral. Un vrai effet ne peut qu'augmenter la variance entre les groupes : seules les grandes valeurs de F sont suspectes, et la p-valeur est l'aire à droite du F observé. La moyenne de la loi vaut (N − k)/(N − k − 2), un peu plus que 1 : c'est le dénominateur, estimé, qui la tire vers le haut. Avec un vrai effet, l'histogramme se décale vers la droite et la proportion au-delà du seuil devient la puissance du test.
3

Après le F : quels groupes diffèrent ?

Idée en une phrase : l'ANOVA dit qu'au moins un groupe se distingue sans dire lequel ; pour comparer les groupes deux à deux sans multiplier les fausses alertes, Tukey propose un seuil unique fondé sur l'écart entre la plus grande et la plus petite moyenne.

La méthode HSD de Tukey (honestly significant difference, 1949) déclare deux groupes différents si l'écart de leurs moyennes dépasse q · √(CMR/n), où q est le quantile de la loi de l'étendue studentisée : la loi de (plus grande moyenne − plus petite moyenne)/erreur-type quand les k groupes sont identiques. La page calcule cette loi par une double intégrale. On compare avec la méthode naïve, un test t à 5 % pour chaque paire, dont le risque global de fausse alerte est mesuré par simulation.

Moyennes de groupe avec des barres de demi-longueur HSD/2 : deux groupes dont les barres ne se chevauchent pas sont significativement différents au sens de Tukey. Les lettres regroupent les groupes non distinguables.
Probabilité d'au moins une fausse alerte, sous H₀, en fonction du nombre de groupes : tests t sans correction (orange) et Tukey (bleu), mesurées par simulation (2 000 expériences par point).
Quantile q de l'étendue studentisée
Seuil HSD = q √(CMR/n)
Contrôle de q par simulation
Le prix de l'honnêteté. Avec 4 groupes et 10 mesures par groupe, q = 3,81 : le seuil de Tukey vaut 3,81/√2 = 2,69 erreurs-types d'une différence, contre 2,03 pour un test t isolé. En échange, la probabilité de déclarer au moins une différence à tort reste à 5 %, alors que six tests t sans correction la portent vers 20 %. On voit aussi qu'un groupe peut différer d'un autre sans différer d'un troisième placé entre eux : la relation « ne pas être distinguable » n'est pas transitive.
4

Quand les hypothèses tombent : Welch et Kruskal-Wallis

Idée en une phrase : l'ANOVA classique suppose que tous les groupes ont la même variance ; si un petit groupe est beaucoup plus dispersé, son risque réel de fausse alerte peut doubler ou tripler.

La loi F n'est exacte que si les mesures sont normales et de même variance dans tous les groupes (homoscédasticité). On simule ici des expériences où H₀ est vraie (mêmes moyennes) mais où les tailles et les dispersions des groupes diffèrent, et l'on mesure la proportion de rejets à 5 % de trois tests : l'ANOVA classique ; l'ANOVA de Welch (1951), qui pondère chaque groupe par ni/si² et corrige les degrés de liberté ; et le test de Kruskal-Wallis (1952), qui travaille sur les rangs des mesures et ne suppose pas la normalité, mais compare des distributions plutôt que des moyennes.

Une expérience simulée sous H₀ : les trois groupes, avec leurs tailles et dispersions. Les moyennes vraies sont toutes égales (trait gris).
Niveau réel mesuré des trois tests (barres) avec la marge de simulation ; trait rouge : 5 % annoncés.
ANOVA classique
ANOVA de Welch
Kruskal-Wallis
Expériences simulées
Le petit groupe bruyant est le pire cas. Quand le groupe le plus dispersé est aussi le plus petit, sa variance est sous-représentée dans CMR : le dénominateur de F est trop petit et le test rejette beaucoup trop souvent : plus d'une fois sur trois (environ 34 %) au lieu de 5 %. Quand c'est le grand groupe qui est dispersé, l'erreur s'inverse et le test devient trop prudent (moins de 1 %). Welch reste proche de 5 % dans tous les cas : c'est l'ANOVA à préférer quand les variances peuvent différer. Kruskal-Wallis, lui, réagit aussi aux différences de dispersion et ne protège pas contre ce cas (environ 12 %).
5

Deux facteurs, et l'ANOVA comme régression

Idée en une phrase : avec deux facteurs croisés, la variabilité se coupe en quatre morceaux, dont un mesure l'interaction ; et toute ANOVA n'est qu'une régression linéaire sur des variables indicatrices.

À Rothamsted, Fisher croisait des variétés et des engrais. On cultive ici 3 variétés (facteur A) avec 3 engrais (facteur B), avec r parcelles par combinaison. Il y a interaction quand l'effet de l'engrais dépend de la variété : sur le graphique des moyennes, les lignes ne sont plus parallèles. Avec autant de parcelles dans chaque case (plan équilibré), la somme totale des carrés se découpe exactement en quatre : SCT = SCA + SCB + SCAB + SCR, et chaque effet reçoit son propre test F.

Graphique d'interaction : rendement moyen selon l'engrais, une ligne par variété (points : parcelles). Lignes parallèles : pas d'interaction ; lignes qui se croisent : forte interaction.
Les quatre morceaux de la somme totale des carrés, en barres empilées, et la p-valeur de chaque effet.
Contrôle : SCT − (SCA + SCB + SCAB + SCR)
Degrés de liberté
2 + 2 + 4 + 9(r − 1) = 9r − 1
Lire l'interaction d'abord. Quand l'interaction est forte, parler de « l'effet de l'engrais » n'a plus grand sens : le meilleur engrais n'est pas le même pour toutes les variétés. Mettez l'interaction à 0 : les lignes deviennent presque parallèles et SCAB fond. Mettez A et B à 0 en gardant l'interaction : chaque facteur semble inutile en moyenne, alors que leur combinaison compte. C'est l'économie du plan factoriel défendue par Fisher : une même expérience répond à trois questions.

Codons l'appartenance au groupe par des variables indicatrices : x₂ = 1 si la mesure vient du groupe 2 et 0 sinon, de même x₃, …, xk. Le modèle de régression y = β₁ + β₂x₂ + … + βkxk + erreur, ajusté par les moindres carrés, donne exactement les moyennes de groupe comme valeurs ajustées : β₁ est la moyenne du groupe 1 et βj l'écart du groupe j au groupe 1. La SCR de la régression est celle de l'ANOVA, son R² est η², et le test F « tous les βj nuls sauf la constante » est le test F de l'ANOVA. La page résout les équations normales (XᵀX)β = Xᵀy par élimination de Gauss, sans utiliser les moyennes de groupe, et compare.

Mesures (points) en fonction du groupe, droite horizontale de la moyenne générale (modèle sans effet) et marches de la régression sur indicatrices (modèle avec effet). Les segments violets sont les écarts ŷ − ȳ dont la somme des carrés est SCE.
SCR : régression − ANOVA
F : régression − ANOVA
R² de la régression et η²
Une seule machine. ANOVA, test t, régression, analyse de covariance : ce sont toutes des formes du modèle linéaire, ajusté par les moindres carrés et testé en comparant les sommes de carrés de deux modèles emboîtés. Avec k = 2, le F de l'ANOVA est exactement le carré du t de Student. C'est cette unité qui a permis d'étendre l'ANOVA à tous les plans d'expérience.

Repères historiques

La recette

Décomposer SCT en SCE + SCR, diviser chaque somme par ses degrés de liberté, faire le rapport F et le comparer à la loi F(k − 1, N − k).

Les conditions

Mesures indépendantes, à peu près normales, et variances comparables entre groupes. Si les variances diffèrent, préférer Welch ; si les données sont très asymétriques, regarder aussi Kruskal-Wallis.

La suite

Un F significatif dit seulement qu'au moins une moyenne diffère. Les comparaisons de Tukey disent lesquelles, et η² dit quelle part de la variabilité les groupes expliquent.

Pour aller plus loin

Pourquoi la loi F. Sous H₀, SCE/σ² et SCR/σ² suivent des lois du χ² indépendantes à k − 1 et N − k degrés de liberté (théorème de Cochran) ; le rapport de deux χ² divisés par leurs degrés de liberté suit par définition une loi F.

L'étendue studentisée. Si Z₁, …, Zk sont normales centrées réduites indépendantes, la probabilité que leur étendue soit au plus w vaut k ∫ φ(z) [Φ(z) − Φ(z − w)]k−1 dz. On divise ensuite par l'écart-type estimé, ce qui ajoute une intégrale sur la loi de s/σ.

Plans déséquilibrés. Avec des effectifs différents dans les cases d'un plan à deux facteurs, les sommes de carrés ne sont plus orthogonales : la décomposition dépend de l'ordre des facteurs (sommes de type I, II ou III).

Mesures répétées. Quand les mêmes sujets sont mesurés dans chaque condition, les mesures ne sont plus indépendantes ; l'ANOVA à mesures répétées ou les modèles mixtes retirent la variabilité propre à chaque sujet.