Un test d'hypothèse peut se tromper de deux façons. On sait en général borner la première (la fausse alerte) ; cette page s'occupe de la seconde (l'effet manqué), de ce qu'elle coûte en nombre de sujets, et de ce qui arrive quand on multiplie les tests.
Un test confronte une hypothèse nulle H₀ (« il n'y a pas d'effet » : le médicament ne fait rien, les deux méthodes se valent) à une hypothèse alternative H₁ (« il y a un effet »). Au vu des données, on rejette H₀ ou on ne la rejette pas. Comme on ne connaît pas la vérité, quatre situations peuvent se produire :
| En réalité H₀ est vraie (aucun effet) | En réalité H₀ est fausse (un effet existe) | |
|---|---|---|
| On ne rejette pas H₀ | bonne décision probabilité 1 − α | erreur de 2ᵉ espèce : effet manqué probabilité β |
| On rejette H₀ | erreur de 1ʳᵉ espèce : fausse alerte probabilité α | bonne décision puissance 1 − β |
Le niveau α est choisi à l'avance (souvent 5 %) : c'est le risque accepté de crier à l'effet alors qu'il n'y a rien. La puissance 1 − β est la probabilité de détecter l'effet quand il existe. Elle n'est pas fixée par le statisticien : elle dépend de la taille de l'effet, du nombre de mesures et de α. Toute la page tourne autour d'elle.
Pour parler de la taille d'un effet sans dépendre des unités, on utilise l'effet standardisé d de Cohen : l'écart entre les moyennes divisé par l'écart-type σ des mesures. Cohen qualifiait d = 0,2 de « petit », d = 0,5 de « moyen » et d = 0,8 de « grand ». Par exemple, un régime qui fait perdre en moyenne 2 kg quand les pertes individuelles ont un écart-type de 4 kg a un effet d = 0,5.
Idée en une phrase : on rejette H₀ quand la moyenne observée tombe au-delà d'un seuil, et la puissance est la part de la cloche « réalité » qui dépasse ce seuil.
On mesure n individus et l'on calcule leur moyenne x̄. Si H₀ est vraie, x̄ fluctue autour de 0 ; si l'effet existe, x̄ fluctue autour de d. Dans les deux cas l'étalement est l'erreur-type σ/√n : la moyenne de n mesures est √n fois moins dispersée qu'une mesure seule. Le seuil est placé pour que la queue rouge de la cloche H₀ ait l'aire α. La partie bleue de la cloche H₁ est la puissance, la partie orange est β. En dessous, des études simulées tombent une à une : chacune tire une moyenne sous H₁, et l'on compte celles qui franchissent le seuil.
Idée en une phrase : un test n'a pas une puissance, il en a une pour chaque taille d'effet, et à petit n le calcul « normal » promet plus que ce que donne le vrai test de Student.
La planche 1 supposait σ connu. En pratique on l'estime sur l'échantillon par l'écart-type s, et l'on utilise le test t de Student : t = x̄ / (s/√n). Sous H₀, t suit une loi de Student à n − 1 degrés de liberté, plus étalée que la normale, donc le seuil est plus loin (2,262 au lieu de 1,960 pour n = 10). Sous H₁, t suit une loi de Student non centrale de paramètre λ = d√n. Sa puissance s'obtient par une intégrale exacte que la page calcule, puis que l'on confronte à de vrais tests t simulés sur n mesures tirées au hasard.
Idée en une phrase : on renverse la question — on fixe l'effet que l'on veut pouvoir détecter et la puissance souhaitée, et l'on cherche le plus petit n qui les garantit.
Pour un test normal bilatéral, il suffit d'écrire que le seuil (z1−α/2 erreurs-types au-dessus de 0) doit se trouver z1−β erreurs-types sous l'effet d. D'où la formule classique ci-dessous, où le facteur 2 apparaît quand on compare deux groupes de n sujets (la différence de deux moyennes est deux fois plus variable). La page cherche ensuite le vrai n entier du test t en essayant n, n + 1… avec la loi non centrale de la planche 2. Pour deux proportions (taux de guérison de 30 % contre 45 %, par exemple), elle confronte la formule à la puissance exacte, calculée en énumérant tous les couples de résultats possibles des deux groupes.
Idée en une phrase : un risque de 5 % par test devient presque une certitude d'erreur quand on fait beaucoup de tests, et il faut choisir ce que l'on veut protéger.
On mène m tests à la fois (m gènes comparés, m critères d'efficacité, m sous-groupes). Parmi eux, une proportion π₀ correspond à des hypothèses nulles vraies, les autres à de vrais effets. Deux façons de mesurer les dégâts :
• le taux d'erreur par famille (FWER, family-wise error rate) : la probabilité d'au moins une fausse alerte. La correction de Bonferroni teste chaque hypothèse au niveau α/m ; celle de Holm fait de même pour la plus petite p-valeur, puis relâche le seuil à α/(m − 1), α/(m − 2)… tant que l'on rejette. Toutes deux garantissent un FWER d'au plus α.
• le taux de fausses découvertes (FDR, false discovery rate) : la proportion moyenne de fausses alertes parmi les résultats déclarés significatifs. La méthode de Benjamini-Hochberg trie les p-valeurs, cherche le plus grand rang k tel que p(k) ≤ kα/m, et rejette les k premières. Elle tolère quelques fausses alertes, mais en garde la proportion sous contrôle, et elle est bien plus puissante.
Idée en une phrase : quand une étude manque de puissance, ses résultats significatifs ne sont pas seulement rares, ils sont faux en grandeur et parfois en signe.
On répète une même étude un grand nombre de fois. L'effet réel vaut δ erreurs-types ; chaque étude en donne une estimation, qui fluctue autour de δ avec un écart-type 1. Une étude est « significative » si son estimation dépasse 1,96 en valeur absolue. Gelman et Carlin (2014) ont nommé les deux pièges : l'erreur de grandeur (type M) — les estimations significatives exagèrent l'effet, d'un facteur d'exagération que l'on mesure ici — et l'erreur de signe (type S) — une partie des études significatives annoncent un effet de sens contraire.
Deux idées reçues sur la p-valeur. D'abord, la « puissance observée », que certains logiciels calculent après coup en remplaçant l'effet réel par l'effet estimé, n'apporte rien : c'est une simple traduction de p. Ensuite, un résultat juste significatif se réplique mal. Si l'on suppose l'effet réel égal à l'effet estimé, une réplication identique n'a qu'une chance sur deux d'être significative. Si l'on tient compte de l'incertitude sur l'effet (ici avec un a priori plat), la chance est encore proche de 50 %. La simulation tire des effets réels au hasard sur un large intervalle, ne garde que les études dont la statistique observée tombe près de celle choisie, et répète chacune d'elles.
Fixer l'effet que l'on veut pouvoir détecter et en déduire n. Une étude à 20 % de puissance est surtout une loterie, même si elle « réussit ».
Compter les tests réellement effectués et corriger : Holm pour ne tolérer aucune fausse alerte, Benjamini-Hochberg pour en limiter la proportion.
Un effet significatif issu d'une étude peu puissante est probablement exagéré. Seule la réplication, ou une étude plus grande, permet d'en connaître la vraie taille.
La loi de Student non centrale. Si x̄ suit une loi normale de moyenne d·σ et s² est l'estimateur sans biais de σ², alors t = x̄/(s/√n) s'écrit (Z + λ)/S avec Z normale centrée réduite, λ = d√n et S = s/σ, indépendante de Z, de densité proportionnelle à Sν−1e−νS²/2. La puissance bilatérale est donc ∫ [Φ(λ − cS) + Φ(−cS − λ)] f(S) dS, intégrale que la page calcule par la méthode de Simpson.
La règle de Guenther. Ajouter z1−α/2²/2 (une moyenne) ou z1−α/2²/4 (par groupe) à la formule normale compense presque exactement le passage de la loi normale à la loi de Student.
Pourquoi Holm contrôle le FWER. S'il y a m₀ nulles vraies, la plus petite de leurs p-valeurs doit passer sous α/m₀ pour qu'une fausse alerte se produise avant que la procédure ne s'arrête ; l'inégalité de Bonferroni sur ces m₀ tests borne cette probabilité par α.
Benjamini-Hochberg et la dépendance. L'égalité FDR = π₀α suppose des tests indépendants. Elle reste une borne sous une dépendance positive ; pour une dépendance quelconque, Benjamini et Yekutieli (2001) divisent α par 1 + 1/2 + … + 1/m.
Erreur de grandeur exacte. Si l'estimation X suit une loi normale de moyenne δ et d'écart-type 1, avec c = 1,96 : E[|X| ; |X| > c] = δ[1 − Φ(c − δ)] + φ(c − δ) − δ Φ(−c − δ) + φ(c + δ), que l'on divise par la puissance et par δ.