Statistique

Les tests non paramétriques

Le test t suppose des mesures à peu près normales ; une seule valeur aberrante peut le dérégler. Les tests non paramétriques renoncent à cette hypothèse : ils n'utilisent que des signes, des rangs ou des permutations, dont la loi sous H₀ se calcule exactement, quelle que soit la forme des données.

Ce que veut dire « non paramétrique »

Un test paramétrique suppose que les données suivent une famille de lois décrite par quelques paramètres (la loi normale, avec sa moyenne et son écart-type) ; sa p-valeur n'est juste que si l'hypothèse l'est. Un test non paramétrique (on dit aussi « libre de distribution ») ne suppose presque rien sur la forme de la loi : seulement, en général, que les observations sont indépendantes et que la loi est continue, ou symétrique pour certains tests.

Le principe commun est de remplacer les valeurs par une information plus grossière mais robuste — leur signe, leur rang dans l'échantillon trié — dont la loi sous H₀ ne dépend plus de la forme des données. On peut alors l'obtenir par un simple dénombrement.

Fil conducteur des deux premières planches : les données de Darwin sur le maïs (1876), reprises par Fisher en 1935. Dans 15 pots, Darwin a fait pousser côte à côte un plant issu d'une fécondation croisée et un plant issu d'une autofécondation, puis a mesuré la différence de hauteur (en huitièmes de pouce) : 49, −67, 8, 16, 6, 23, 28, 41, 14, 29, 56, 24, 75, 60, −48. Les plants croisés sont-ils vraiment plus grands ?

1

Le test du signe : ne garder que le sens

Idée en une phrase : si la différence n'a aucune tendance, chaque différence a une chance sur deux d'être positive, et le nombre de signes « + » suit une loi binomiale de paramètre ½.

Le test du signe est le plus ancien des tests (Arbuthnot l'utilisait déjà en 1710). On oublie la taille des différences et l'on compte les positives. Pour Darwin, 13 sur 15. Sous H₀ (la médiane des différences est nulle), ce nombre suit la loi binomiale B(15, ½), et la p-valeur est la probabilité d'un déséquilibre au moins aussi fort. Le curseur exagère la plus grande différence négative : le test t s'effondre, le test du signe ne bouge pas.

Les 15 différences de Darwin, triées. Bleu : positives ; rouge : négatives. Trait gris : zéro ; trait vert : moyenne.
Loi B(15, ½) du nombre de signes « + » sous H₀ (barres), queues de la p-valeur en rouge ; points verts : résultats de séries de 15 pièces lancées.
Signes « + » / effectif
Test du signe (exact, bilatéral)
Test t de Student (bilatéral)
Séries de pièces simulées
Robuste mais myope. Avec 13 signes « + » sur 15, la p-valeur exacte vaut 242/32 768 = 0,74 %. Le test t donne 4,97 % sur les données d'origine ; si l'on exagère la valeur −67, l'écart-type explose et le test t ne voit plus rien, alors que le signe reste le même. En contrepartie, le test du signe jette l'information de grandeur : une différence de 6 compte autant qu'une différence de 75. Il demande donc plus de données que nécessaire quand les mesures sont normales.
2

Les rangs signés de Wilcoxon, et la permutation de Fisher

Idée en une phrase : on classe les différences par taille sans tenir compte du signe, puis on additionne les rangs des différences positives ; sous H₀, chaque rang a une chance sur deux d'être compté.

Frank Wilcoxon (1945) garde un peu plus d'information que le signe : la place de chaque différence dans le classement des valeurs absolues. Sa statistique W⁺ est la somme des rangs des différences positives. Si la loi des différences est symétrique autour de 0, chaque rang reçoit son signe à pile ou face, ce qui donne 2ⁿ configurations également probables ; la page compte exactement combien donnent chaque valeur de W⁺. Fisher, en 1935, allait plus loin sur les mêmes données : il gardait les valeurs elles-mêmes et changeait seulement leurs signes, en énumérant les 2¹⁵ = 32 768 cas. C'est le test de permutation, ancêtre de tous les tests non paramétriques.

Les différences classées par valeur absolue : la hauteur de chaque barre est son rang. Bleu : rangs comptés dans W⁺ ; rouge : rangs des différences négatives. L'animation tire des signes au hasard, comme le fait H₀.
Loi exacte de W⁺ sous H₀ (barres), obtenue par dénombrement ; courbe : approximation normale ; rouge : queues de la p-valeur ; trait bleu : W⁺ observé.
W⁺ observé (somme des rangs positifs)
Wilcoxon exact (bilatéral)
Wilcoxon, approximation normale
Permutation de Fisher (2¹⁵ cas)
Contrôle : nombre total de configurations
Quatre tests, quatre p-valeurs. Sur les données de Darwin : signe 0,74 %, Wilcoxon 4,13 %, permutation de Fisher 5,27 % (1 726 cas sur 32 768 au moins aussi extrêmes), test t 4,97 %. Fisher remarquait que la permutation, qui ne suppose pas la normalité, donne presque la même réponse que le test t : c'était pour lui la justification du test t. Exagérez la valeur aberrante : Wilcoxon bouge à peine, car elle ne peut que passer du rang 14 au rang 15, alors que la permutation, qui garde les valeurs, est influencée comme le test t.
3

Mann-Whitney : comparer deux échantillons par leurs rangs

Idée en une phrase : on compte, parmi toutes les paires formées d'une valeur de chaque groupe, combien de fois la valeur du groupe A dépasse celle du groupe B.

Pour deux groupes indépendants de tailles m et n, la statistique U de Mann-Whitney (1947), équivalente à la somme des rangs de Wilcoxon, est le nombre de paires (x, y) où x > y. Il y a m × n paires ; sous H₀ (les deux groupes viennent de la même loi), U vaut en moyenne mn/2. Sa loi exacte s'obtient en comptant les façons de répartir les rangs entre les deux groupes. U/(mn) estime directement la probabilité qu'une valeur de A dépasse une valeur de B : c'est aussi l'aire sous la courbe ROC.

En haut : les deux échantillons sur un même axe, rangs inscrits sous les points. En bas : la grille des m × n paires, case pleine si la valeur de A dépasse celle de B ; U est le nombre de cases pleines.
Loi exacte de U sous H₀ (barres), approximation normale (courbe), queues de la p-valeur en rouge ; points verts : permutations simulées des étiquettes.
U (paires où A dépasse B)
Mann-Whitney exact (bilatéral)
Approximation normale
Test t de Welch (pour comparer)
Permutations simulées
Contrôle : somme des rangs
U = RA − m(m + 1)/2
Une statistique qui se lit. U/(mn) répond à une question concrète : si je tire un individu de chaque groupe, quelle est la probabilité que celui de A soit plus grand ? Avec des données exponentielles ou de Cauchy, le test t devient peu fiable (moyennes tirées par quelques valeurs extrêmes), alors que la loi de U sous H₀ reste exactement la même, quelle que soit la loi des données : c'est le sens de « libre de distribution ».
4

Que perd-on ? L'efficacité relative

Idée en une phrase : sur des données normales, Wilcoxon ne perd presque rien face au test t ; sur des données à queues lourdes, il gagne beaucoup.

L'efficacité relative asymptotique (ERA) de Pitman compare deux tests par le rapport des effectifs nécessaires pour une même puissance face à un petit décalage. Une ERA de 0,955 veut dire que le test t fait avec 95,5 individus ce que Wilcoxon fait avec 100. On simule ici des échantillons d'une loi choisie, décalée de θ, et l'on mesure la puissance des trois tests à 5 % : test t, rangs signés de Wilcoxon et signe (ces deux derniers avec leurs lois exactes).

Densité de la loi choisie (même écart interquartile pour toutes), et un échantillon simulé.
Puissance mesurée des trois tests (barres) avec la marge de simulation. Pour θ = 0, c'est le niveau réel.
Test t
Wilcoxon (rangs signés)
Signe
Échantillons simulés
Le théorème de Hodges et Lehmann (1956). Pour toute loi symétrique, l'ERA de Wilcoxon face au test t n'est jamais inférieure à 0,864 ; elle vaut 3/π = 0,955 pour la loi normale, 1,5 pour la loi de Laplace et devient infinie pour Cauchy, où le test t n'a pratiquement aucune puissance. Le test du signe est plus inégal : 2/π = 0,637 pour la loi normale, mais 2 pour Laplace. Remarquez aussi qu'à θ = 0 les tests exacts du signe et de Wilcoxon restent sous 5 %, à cause du caractère discret de leurs lois.
5

Rangs, corrélation et robustesse

Idée en une phrase : remplacer les valeurs par leurs rangs donne une corrélation qui mesure la monotonie plutôt que la linéarité, et un estimateur qui résiste à près d'un tiers de valeurs aberrantes.

Le coefficient de Spearman (1904) est le coefficient de corrélation de Pearson calculé sur les rangs ; sans ex æquo, il vaut 1 − 6Σd²/(n(n² − 1)), où d est l'écart de rang de chaque individu. Le τ de Kendall (1938) compte les paires d'individus concordantes (rangées dans le même ordre selon x et selon y) moins les discordantes, divisées par le nombre de paires. Les deux valent 1 dès que y croît avec x, même de façon très courbe. On teste leur nullité par permutation : on mélange les y au hasard et l'on regarde combien de fois on obtient une corrélation au moins aussi forte.

Les données (gauche, valeurs) et leurs rangs (droite, petit encart) : la forme courbe disparaît en rangs. Le point rouge est celui que déplace le curseur.
Loi de permutation du coefficient de Spearman sous H₀ (histogramme) ; trait bleu : valeur observée.
Pearson r (valeurs)
Spearman ρ (rangs)
Kendall τ
p-valeur de ρ par permutation
Monotone n'est pas linéaire. Sur une liaison exponentielle, Pearson reste nettement sous 1 alors que Spearman et Kendall valent exactement 1 : chaque y augmente avec x. Avec la liaison nulle et un seul point aberrant, Pearson peut s'envoler alors que les rangs, qui ne savent pas qu'un point est très loin, restent modestes. Sur la cloche, les trois coefficients sont proches de 0 : une liaison forte mais non monotone échappe aussi aux rangs.

Tout test de Wilcoxon contient un estimateur : la valeur θ pour laquelle le test sur les différences x − θ est le plus équilibré. Hodges et Lehmann (1963) ont montré que c'est la médiane des moyennes de Walsh, c'est-à-dire des moyennes (xᵢ + xⱼ)/2 de toutes les paires (i ≤ j). On remplace ici, une à une, des observations d'un échantillon de 20 valeurs par une valeur aberrante énorme (1 000), et l'on suit trois estimateurs du centre : la moyenne, la médiane et Hodges-Lehmann. Le point de rupture d'un estimateur est la plus petite part de données aberrantes capable de l'emmener n'importe où.

Valeur des trois estimateurs selon le nombre de valeurs remplacées (échelle logarithmique de l'écart au centre vrai). Orange : moyenne ; vert : médiane ; bleu : Hodges-Lehmann.
Les 210 moyennes de Walsh de l'échantillon courant, triées ; leur médiane (trait bleu) est l'estimateur de Hodges-Lehmann. Rouge : les moyennes qui font intervenir une valeur aberrante.
Moyenne
Médiane
Hodges-Lehmann
Moyennes de Walsh contaminées
Trois points de rupture. La moyenne cède dès la première valeur aberrante (point de rupture 0). La médiane tient jusqu'à la moitié des données. Hodges-Lehmann tient jusqu'à 1 − 1/√2 ≈ 29,3 % : avec 20 valeurs, il résiste à 5 aberrantes et cède à la sixième, quand la moitié des 210 moyennes de Walsh (105) font intervenir une valeur aberrante. C'est le compromis de Wilcoxon : presque aussi précis que la moyenne sur des données normales (efficacité 0,955), et bien plus solide qu'elle.

Repères historiques

  • 1710John Arbuthnot utilise un test du signe sur 82 années de naissances à Londres.
  • 1876Charles Darwin publie ses expériences sur la fécondation croisée, dont les 15 paires de maïs.
  • 1904Charles Spearman propose la corrélation de rangs, en psychologie.
  • 1935Fisher analyse les données de Darwin par permutation dans The Design of Experiments.
  • 1938Maurice Kendall publie son coefficient τ.
  • 1945Frank Wilcoxon, chimiste, publie ses deux tests de rangs en quatre pages.
  • 1947Henry Mann et Donald Whitney donnent la loi exacte de U.
  • 1952Kruskal et Wallis étendent les rangs à plusieurs groupes.
  • 1956Hodges et Lehmann prouvent que Wilcoxon ne perd jamais plus de 13,6 % face au test t pour une loi symétrique.

Quand les préférer

Petits échantillons, données ordinales (notes, classements), lois très asymétriques ou à queues lourdes, valeurs aberrantes possibles.

Ce qu'ils testent vraiment

Pas les moyennes : la médiane (signe), la symétrie autour d'une valeur (Wilcoxon) ou la tendance d'un groupe à dépasser l'autre (Mann-Whitney).

Ce qu'ils coûtent

Peu de puissance sur des données normales (Wilcoxon), beaucoup pour le test du signe ; en échange, une p-valeur exacte qui ne dépend pas de la forme des données.

Pour aller plus loin

Ex æquo. Avec des valeurs égales, on attribue à chacune le rang moyen ; la loi exacte change légèrement et les logiciels corrigent la variance de l'approximation normale. Les différences nulles sont en général retirées dans les tests du signe et de Wilcoxon.

Loi de W⁺. Le nombre de sous-ensembles de {1, …, n} de somme w se calcule par récurrence : c(n, w) = c(n − 1, w) + c(n − 1, w − n). La moyenne de W⁺ vaut n(n + 1)/4 et sa variance n(n + 1)(2n + 1)/24.

Loi de U. Le nombre de répartitions donnant U = u vérifie f(m, n, u) = f(m − 1, n, u − n) + f(m, n − 1, u), selon que la plus grande valeur appartient à A ou à B. La moyenne vaut mn/2 et la variance mn(m + n + 1)/12.

Mann-Whitney n'est pas un test de médianes. Deux lois de même médiane mais de formes différentes peuvent donner un U très éloigné de mn/2 : le test répond à la question « A tend-il à dépasser B ? ».