Le test exact de Fisher
Quand les effectifs sont petits, les approximations du χ² deviennent hasardeuses. Fisher propose de ne rien approcher du tout : on énumère tous les tableaux possibles, on calcule leur probabilité exacte, et l'on regarde où se situe le tableau observé.
Le problème
On a classé N individus selon deux critères à deux modalités chacun : traité ou non, guéri ou non ; vrai jumeau ou faux jumeau, condamné ou non. On obtient un tableau de contingence 2 × 2 :
| succès | échec | total | |
|---|---|---|---|
| groupe 1 | a | b | r₁ = a + b |
| groupe 2 | c | d | r₂ = c + d |
| total | c₁ = a + c | c₂ = b + d | N |
L'hypothèse nulle H₀ dit que le groupe n'a aucun lien avec le succès : les deux groupes ont la même chance de réussir. L'idée de Fisher est de raisonner à marges fixées : on prend comme données les totaux de lignes et de colonnes, et l'on se demande comment les c₁ succès ont pu se répartir entre les deux groupes si le hasard seul avait décidé. Une fois a connu, b, c et d s'en déduisent : tout le tableau tient en un seul nombre. Sa loi est la loi hypergéométrique, celle du nombre de boules rouges obtenues en tirant r₁ boules sans remise dans une urne de N boules dont c₁ sont rouges :
où C(n, k) est le nombre de façons de choisir k objets parmi n. La p-valeur exacte additionne les probabilités des tableaux au moins aussi extrêmes que l'observé. Aucune loi normale, aucun χ² : seulement du dénombrement.
La dame qui goûtait le thé
Idée en une phrase : si la dame devine au hasard, chacun des choix possibles de tasses est également probable, et il suffit de les compter.
Dans The Design of Experiments (1935), Fisher raconte l'histoire d'une dame qui affirmait reconnaître si le lait avait été versé avant ou après le thé. On lui présente 2m tasses, dont m « lait d'abord », dans un ordre tiré au sort, et elle doit désigner les m tasses « lait d'abord ». Si elle n'a aucun don, son choix équivaut à un tirage au hasard de m tasses parmi 2m : il y a C(2m, m) choix, tous équiprobables, et un seul est entièrement juste. C'est déjà un tableau 2 × 2 dont les marges sont toutes fixées par le protocole.
Le tableau 2 × 2 : redistribuer les étiquettes
Idée en une phrase : sous H₀, les étiquettes « groupe 1 » et « groupe 2 » auraient pu être collées sur n'importe quels individus ; on rebat ces étiquettes et l'on regarde combien de succès tombent dans le groupe 1.
Exemple : un essai sur 20 patients, 10 traités et 10 témoins. Parmi les traités, 7 guérissent ; parmi les témoins, 2. Il y a 9 guérisons au total. Si le traitement ne fait rien, ces 9 guéris sont les mêmes quel que soit le groupe, et seule l'attribution au hasard des 10 places « traité » décide de combien de guéris s'y trouvent. À gauche, les 20 patients (rouge : guéri) ; l'animation rebat sans cesse les étiquettes de groupe. À droite, tous les tableaux possibles, avec leur probabilité exacte ; ceux qui comptent dans la p-valeur sont en rouge.
Exact contre approché : le χ² et la correction de Yates
Idée en une phrase : le test du χ² remplace la loi hypergéométrique par une courbe continue, ce qui marche avec de gros effectifs mais peut se tromper nettement avec de petits.
Le test du χ² de Pearson compare chaque case à son effectif attendu sous H₀ (par exemple r₁c₁/N pour la case a) et calcule X² = N(ad − bc)² / (r₁r₂c₁c₂), comparé à une loi du χ² à un degré de liberté. Frank Yates (1934) a proposé de retirer N/2 à |ad − bc| avant d'élever au carré : c'est la même correction de continuité que pour une proportion. On compare ci-dessous, pour les marges du tableau de la planche 2, les p-valeurs bilatérales des trois méthodes pour chaque valeur possible de a.
Le prix de l'exactitude : un test trop prudent
Idée en une phrase : « exact » veut dire que le risque d'erreur ne dépasse jamais 5 %, pas qu'il vaut 5 % ; en pratique il est souvent bien plus bas, et le test perd de la puissance.
On imagine deux groupes de tailles n₁ et n₂, et une même probabilité de succès π dans les deux (H₀ vraie). Chaque groupe donne un nombre de succès binomial, et l'on peut calculer exactement la probabilité que chaque test rejette H₀ : c'est son niveau réel. On compare Fisher, le χ² de Pearson et la mid-p de Fisher, qui ne compte que la moitié de la probabilité des tableaux aussi probables que l'observé. Le second graphique donne la puissance quand les deux groupes ont des probabilités différentes π₁ et π₂.
Les jumeaux de Lange, et la querelle des marges
Idée en une phrase : Fisher a montré son test sur un vrai jeu de données, avec une p-valeur écrite en fraction exacte ; puis Barnard lui a demandé de quel droit on fixait les marges.
En 1929, le psychiatre allemand Johannes Lange étudie des jumeaux dont l'un a été condamné. Parmi 13 paires de vrais jumeaux, l'autre jumeau a aussi été condamné dans 10 cas ; parmi 17 paires de faux jumeaux, dans 2 cas seulement. Fisher reprend ces données (1934-1935) pour illustrer son test exact : si le type de jumeaux n'avait aucun lien avec la concordance, quelle serait la probabilité d'observer au moins 10 paires concordantes parmi les vrais jumeaux ? La page refait le calcul en entiers exacts, sans aucun arrondi.
| concordants | discordants | total | |
|---|---|---|---|
| vrais jumeaux | 10 | 3 | 13 |
| faux jumeaux | 2 | 15 | 17 |
| total | 12 | 18 | 30 |
Fixer les deux marges est naturel pour la dame du thé, puisque le protocole les impose. Mais dans un essai clinique, seules les tailles des groupes sont fixées ; le nombre total de guérisons, lui, est aléatoire. George Barnard (1945) propose alors un test exact inconditionnel : chaque groupe donne un nombre de succès binomial, de paramètre π commun sous H₀. La p-valeur dépend de ce π inconnu, appelé paramètre de nuisance. On la calcule pour toutes les valeurs de π et l'on retient la pire, c'est-à-dire la plus grande. Le test reste exact (il ne dépasse jamais α), mais il est souvent plus puissant que celui de Fisher. Le classement des tableaux se fait ici par la statistique z de comparaison de deux proportions (variance commune).
Repères historiques
- 1900Karl Pearson introduit le test du χ² pour comparer des effectifs observés et attendus.
- 1922Fisher montre que le χ² d'un tableau 2 × 2 n'a qu'un degré de liberté, contre l'avis de Pearson.
- 1929Johannes Lange publie son étude des jumeaux et de la criminalité.
- 1934Fisher (5ᵉ édition de Statistical Methods for Research Workers), Yates, puis Irwin en 1935, publient, chacun de leur côté, le test exact à marges fixées ; Yates propose sa correction de continuité.
- 1935The Design of Experiments : la dame qui goûtait le thé, et le principe de la randomisation.
- 1945George Barnard propose un test exact inconditionnel ; le débat sur le conditionnement par les marges commence.
- 1954William Cochran formule les règles d'usage du χ² (effectifs attendus au moins égaux à 5).
- 1961Henry Oliver Lancaster propose la mid-p, pour atténuer la prudence des tests exacts discrets.
Quand l'utiliser
Dès qu'un effectif attendu est petit (moins de 5), ou que l'on veut une p-valeur sans approximation. Avec les ordinateurs, rien n'empêche de l'utiliser même pour de grands tableaux.
Ce qu'il garantit
Un risque de fausse alerte qui ne dépasse jamais α, quelle que soit la taille des effectifs. En contrepartie, le risque réel est souvent nettement plus bas, et la puissance s'en ressent.
Ce qu'il ne dit pas
La force du lien se lit dans le rapport des cotes et son intervalle de confiance ; sa cause, dans le protocole de l'étude. Une p-valeur, même exacte, ne dit ni l'un ni l'autre.
Pour aller plus loin
Pourquoi conditionner par les marges. Sous H₀, les totaux de lignes et de colonnes sont une statistique exhaustive pour les paramètres de nuisance (la probabilité commune de succès) : conditionner par elles élimine ces paramètres et donne une loi entièrement connue, l'hypergéométrique.
Au-delà de H₀. Si le vrai rapport des cotes vaut ψ, la loi de a à marges fixées devient la loi hypergéométrique non centrale de Fisher, proportionnelle à C(r₁, a)C(r₂, c₁ − a)ψᵃ. En inversant le test pour chaque ψ, on obtient un intervalle de confiance exact du rapport des cotes.
Tableaux plus grands. Le test se généralise aux tableaux r × c (algorithme de Freeman-Halton, réseau de Mehta et Patel), où l'énumération devient coûteuse ; on recourt alors souvent à une p-valeur par permutations simulées, comme l'animation de la planche 2.
Deux définitions bilatérales. Additionner les tableaux de probabilité au plus égale à l'observé (convention de cette page) ou doubler la plus petite queue unilatérale : les deux coïncident quand la loi est symétrique, c'est-à-dire quand r₁ = r₂ ou c₁ = c₂.