Statistique

Le test Z sur une proportion

Une pièce tombe 60 fois sur pile en 100 lancers ; un lot contient 29 pièces défectueuses sur 400 ; un sondage donne 49 % à un candidat annoncé à 52 %. Est-ce du hasard ? Le test Z répond en comparant l'écart observé à l'écart que le hasard produit d'habitude.

La recette en quatre lignes

On observe x succès (« oui », « pile », « défectueux »…) parmi n individus tirés au hasard. La proportion observée est p̂ = x/n. On veut savoir si elle est compatible avec une valeur annoncée p₀.

Étape	Ce que l'on écrit	Ce que cela veut dire
1. Hypothèses	H₀ : p = p₀ contre H₁ : p ≠ p₀ (ou p > p₀, ou p < p₀)	H₀ est la valeur annoncée, que l'on tient pour vraie jusqu'à preuve du contraire.
2. Erreur-type	σ₀ = √(p₀(1 − p₀)/n)	L'écart typique entre p̂ et p₀ si H₀ est vraie, dû au seul hasard de l'échantillon.
3. Statistique	z = (p̂ − p₀) / σ₀	L'écart observé, mesuré en « écarts typiques ».
4. Décision	p-valeur = probabilité, sous H₀, d'un écart au moins aussi grand	Si elle est sous le niveau α (souvent 5 %), on rejette H₀ ; en bilatéral, cela revient à \|z\| > 1,96.

Deux remarques guident toute la page. D'abord, l'erreur-type se calcule avec p₀ et non avec p̂ : on raisonne dans le monde où H₀ est vraie. Ensuite, la statistique z n'est qu'approximativement normale ; le vrai comportement est celui de la loi binomiale, que la page calcule exactement à chaque fois pour juger l'approximation.

Le raisonnement : l'écart est-il plus grand que le hasard ?

Idée en une phrase : on imagine des milliers d'échantillons tirés dans le monde où H₀ est vraie, et l'on regarde quelle part d'entre eux s'écarte de p₀ autant que le nôtre.

À gauche, l'échantillon observé : chaque case est un individu, rouge pour un succès. À droite, la cloche indique où tombe p̂ quand H₀ est vraie ; elle est centrée sur p₀ et d'écart-type σ₀. Le trait bleu marque notre p̂, les zones rouges mesurent la p-valeur. Le bouton de simulation tire réellement des échantillons de n individus avec la probabilité p₀ et empile leurs proportions : l'histogramme épouse la cloche, et la part des échantillons « au moins aussi extrêmes » retrouve la p-valeur.

L'échantillon : n individus, x succès en rouge.

Loi de p̂ sous H₀ (cloche) ; zones rouges : p-valeur ; pointillés gris : seuils à 5 % ; barres vertes : proportions des échantillons simulés sous H₀.

Proportion annoncée p₀

Taille de l'échantillon n

Nombre de succès observés x

Hypothèse alternative H₁

Proportion observée p̂ = x/n

Erreur-type sous H₀ σ₀

Statistique z

p-valeur par la loi normale

p-valeur exacte (loi binomiale)

Échantillons simulés sous H₀

Décision au niveau 5 %

Lire la p-valeur. 60 piles sur 100 donnent z = 2,00 : un écart de deux erreurs-types. Le hasard seul produit un écart au moins aussi grand dans environ 4,6 % des cas (5,7 % exactement par la binomiale). C'est rare, mais pas impossible. La p-valeur n'est pas la probabilité que la pièce soit honnête : c'est la fréquence des échantillons aussi surprenants que le nôtre si elle l'était. Remarquez qu'avec 60 piles, la conclusion change selon que l'on utilise l'approximation normale ou la loi exacte.

Pourquoi la loi normale, et la correction de continuité

Idée en une phrase : le nombre de succès suit une loi binomiale en bâtons, que De Moivre et Laplace ont appris à remplacer par une cloche continue ; on gagne beaucoup de précision en commençant l'aire une demi-unité plus tôt.

Le nombre de succès X prend les valeurs entières 0, 1, …, n. Sa loi exacte est la loi binomiale : P(X = k) = C(n, k) p₀ᵏ (1 − p₀)ⁿ⁻ᵏ. Le théorème de De Moivre-Laplace dit que, pour n grand, ces bâtons dessinent une cloche normale de moyenne np₀ et d'écart-type √(np₀(1 − p₀)). Mais un bâton d'abscisse k représente tout l'intervalle de k − ½ à k + ½ : pour calculer P(X ≥ x) avec la cloche, il faut donc partir de x − ½. C'est la correction de continuité.

Bâtons : loi binomiale exacte (rouges à partir de x). Courbe : loi normale. Zone bleue : aire normale à partir de x ; zone verte en plus : la demi-unité ajoutée par la correction.

Plus grande erreur commise sur la fonction de répartition (sur tous les x) en fonction de n, en échelles logarithmiques. Orange : sans correction ; vert : avec correction.

Proportion p₀

Taille n

Seuil x : on calcule P(X ≥ x)

P(X ≥ x) exacte

Loi normale sans correction

Loi normale avec correction

np₀ et n(1 − p₀)

Pentes mesurées de l'erreur maximale

Une demi-unité qui change tout. Sans correction, l'erreur maximale décroît comme 1/√n (pente −0,5) : diviser l'erreur par deux demande quatre fois plus d'individus. Avec la correction et p₀ = 0,5, la loi est symétrique, l'erreur décroît en 1/n (pente −1) et devient vite négligeable. Quand p₀ s'éloigne de 0,5, la binomiale devient dissymétrique, la pente revient à −0,5, mais l'erreur reste plusieurs fois plus petite. C'est ce qui justifie les règles d'usage comme np₀ ≥ 10 et n(1 − p₀) ≥ 10.

Le vrai niveau du test : une scie autour de 5 %

Idée en une phrase : on annonce un risque de 5 %, mais comme X ne prend que des valeurs entières, le risque réel saute d'un n à l'autre, et il dérape franchement si l'on calcule l'erreur-type avec p̂ au lieu de p₀.

Le niveau réel d'un test est la probabilité exacte de rejeter H₀ quand H₀ est vraie. On l'obtient en additionnant les probabilités binomiales de toutes les valeurs de x qui conduisent au rejet. On compare deux variantes : le test du score, celui de cette page, avec σ₀ = √(p₀(1 − p₀)/n), et le test de Wald, qui utilise √(p̂(1 − p̂)/n). Ce dernier paraît anodin, mais quand p̂ vaut 0 ou 1, son erreur-type est nulle et il rejette toujours.

Niveau réel (bilatéral) en fonction de n pour la valeur de p₀ choisie. Bleu : test du score ; orange : test de Wald ; trait rouge : niveau annoncé ; trait vertical : n choisi.

Proportion p₀

Taille n

Niveau annoncé α

Niveau réel du test du score

Niveau réel du test de Wald

Simulation sous H₀ (test du score)

Sur n = 10 à 300

Le hasard n'est pas continu. Avec n = 50 et p₀ = 0,1, le niveau réel du test du score est voisin de 3 % ; à n voisin, il passe au-dessus de 5 %. Ces dents de scie ne disparaissent jamais, elles s'aplatissent seulement quand n grandit. Le test de Wald, lui, dépasse souvent nettement le niveau annoncé pour p₀ petit : il crie à l'effet trop facilement. C'est pourquoi le test Z d'une proportion se fait avec p₀ dans l'erreur-type.

Puissance et taille d'échantillon

Idée en une phrase : pour avoir de bonnes chances de détecter que la vraie proportion est p₁ et non p₀, il faut un n d'autant plus grand que p₁ est proche de p₀.

La puissance est la probabilité de rejeter H₀ quand la vraie proportion vaut p₁. La page la calcule exactement, en additionnant les probabilités binomiales de paramètre p₁ sur la zone de rejet, et la compare à la formule normale. On en déduit le n nécessaire, que la formule donne directement :

n ≈ [ z_1−α/2√(p₀(1 − p₀)) + z_1−β√(p₁(1 − p₁)) ]² / (p₁ − p₀)²

Puissance en fonction de la vraie proportion p₁ (n fixé). Bleu : exacte ; pointillé orange : formule normale. Au point p₁ = p₀, la courbe vaut le niveau réel du test.

Puissance exacte en fonction de n (p₁ fixé), en dents de scie. Pointillé orange : formule normale ; trait rouge : puissance visée ; traits verts : n donné par la formule et plus petit n exact.

Proportion de H₀ : p₀

Vraie proportion p₁

Taille n

Puissance visée

Puissance exacte (n choisi)

Puissance par la formule normale

n donné par la formule

Plus petit n exact atteignant la cible

À partir de quel n la cible est toujours tenue

Détecter 60 % contre 50 %. Avec 100 individus, la puissance exacte n'est que de 54 % : une chance sur deux de passer à côté. La formule réclame 194 individus pour 80 %. La puissance exacte n'augmente pas régulièrement avec n : à cause des valeurs entières, ajouter un individu peut la faire baisser. Ici, elle atteint 80 % dès n = 187, mais retombe ensuite sous la cible et n'y reste qu'à partir de n = 198. Il vaut donc mieux viser ce second n, à partir duquel la cible n'est plus jamais manquée.

De Laplace à l'intervalle de confiance

Idée en une phrase : le test Z d'une proportion est né sur les registres des naissances, il juge tout écart dès que n est assez grand, et il contient en lui un intervalle de confiance.

En 1710, John Arbuthnot remarque qu'à Londres il est né plus de garçons que de filles chaque année, 82 années de suite. Si chaque année était un pile ou face, la probabilité de cette série serait (½)⁸² : c'est souvent présenté comme le premier test de signification. Laplace reprend la question avec les naissances de Paris de 1745 à 1784 : 251 527 garçons et 241 945 filles. Il calcule la probabilité qu'une proportion de garçons d'au plus ½ produise un tel excédent, et trouve un nombre de l'ordre de 10⁻⁴². C'est exactement le test Z unilatéral d'une proportion, avec p₀ = ½.

Les 82 années d'Arbuthnot : chaque case est une année où il naît plus de garçons ; le compteur donne la probabilité de la série sous l'hypothèse du pile ou face.

Logarithme décimal de la p-valeur en fonction de z : queue normale (courbe) et queue binomiale exacte (point vert), pour la part des naissances parisiennes retenue.

Nombre d'années prises en compte (sur 40)

Arbuthnot : (½)⁸²

Naissances retenues · part de garçons

Statistique z

p-valeur normale

p-valeur binomiale exacte

Le nombre de Laplace. Sur les 40 années, z = 13,64 et la queue normale vaut 1,15·10⁻⁴², la valeur même que Laplace donne dans son mémoire. La queue binomiale exacte, que la page somme terme à terme en logarithmes, ne s'en écarte que d'environ 1,4 %. Avec une seule année de registres, z ne vaut plus que 2,15 : z grandit comme √n, et c'est l'accumulation des naissances, non la taille de l'écart (51 % contre 50 %), qui rend la conclusion écrasante.

Ce qui fait la force des données de Laplace est aussi un piège. Supposons que la vraie proportion soit 50,5 % au lieu de 50 % : un écart sans importance pratique pour la plupart des usages. Pour n petit, le test ne le voit pas ; pour n grand, il le déclare toujours significatif. Le graphique montre z en fonction de n : la droite est la valeur attendue, les points sont des échantillons simulés (tirages réels jusqu'à n = 5 000, au-delà approximation normale de la binomiale), la bande grise est la zone |z| ≤ 1,96 où l'on ne rejette pas.

Statistique z en fonction de n (échelle logarithmique). Trait bleu : z attendu ; points : échantillons simulés, rouges s'ils sont significatifs ; trait vert vertical : n à partir duquel le z attendu dépasse 1,96.

Vraie proportion (H₀ : p = 0,5)

Écart réel à 0,5

n où le z attendu atteint 1,96

Part des points significatifs (n ≥ 10⁶)

Une p-valeur mesure la netteté, pas l'importance. Avec un écart réel de 0,5 point, le z attendu atteint 1,96 vers 38 400 individus ; au-delà du million, presque toutes les études sont significatives. La bonne question n'est pas seulement « l'écart est-il réel ? », mais « est-il assez grand pour compter ? ». L'intervalle de confiance, qui donne la taille plausible de l'écart, y répond mieux que la p-valeur seule.

Fixons l'échantillon (x succès sur n) et faisons varier la valeur testée p₀ de 0 à 1. Pour chaque p₀, le test Z accepte ou rejette. L'ensemble des p₀ que le test ne rejette pas est un intervalle : c'est l'intervalle de Wilson (1927), que l'on peut aussi écrire par une formule fermée. La page le retrouve des deux façons. Le test de Wald, qui utilise p̂ dans l'erreur-type, donne de même l'intervalle classique p̂ ± 1,96 √(p̂(1 − p̂)/n), qui peut sortir de [0 ; 1] et se réduit à un point quand x = 0.

Statistique z du test en fonction de la valeur testée p₀. Bleu : test du score ; pointillé orange : test de Wald. Bande grise : |z| ≤ 1,96. Sur l'axe : intervalle de Wilson en vert, intervalle de Wald en orange. Le point qui balaie l'axe teste successivement chaque p₀.

Taille n

Succès x

Wilson par la formule

Wilson par inversion du test

Wald : p̂ ± 1,96 √(p̂(1 − p̂)/n)

p₀ en cours de test

Un test, un intervalle : c'est le même objet. Rejeter H₀ : p = p₀ au niveau 5 % revient exactement à constater que p₀ sort de l'intervalle de confiance à 95 % construit de la même manière. Avec 3 succès sur 20, l'intervalle de Wilson va de 5,2 % à 36,0 %, alors que celui de Wald descend sous zéro. Choisir le bon test, c'est donc aussi choisir le bon intervalle.

Repères historiques

1710John Arbuthnot compare 82 années de baptêmes à Londres : toujours plus de garçons. Il y voit la main de la Providence plutôt que le hasard.
1733Abraham de Moivre montre que la loi binomiale de paramètre ½ s'approche par la courbe en cloche.
1781Laplace étudie les naissances de Paris et calcule la probabilité, de l'ordre de 10⁻⁴², qu'un tel excès de garçons soit dû au hasard ; il généralise le théorème de De Moivre à toute proportion.
1927Edwin Bidwell Wilson publie l'intervalle obtenu en inversant le test du score.
1933Neyman et Pearson fixent le cadre des tests : niveau, puissance, région de rejet.
1934Clopper et Pearson construisent l'intervalle exact fondé sur la binomiale ; Frank Yates popularise la correction de continuité.
1998Alan Agresti et Brent Coull montrent que l'approximation de Wilson est souvent préférable aux méthodes « exactes » trop prudentes.

Le bon calcul

z = (p̂ − p₀)/√(p₀(1 − p₀)/n), avec p₀ et non p̂ dans l'erreur-type. Vérifier que np₀ et n(1 − p₀) ne sont pas trop petits ; sinon, utiliser la loi binomiale exacte.

Les limites

Le niveau réel oscille autour du niveau annoncé, et la puissance n'augmente pas régulièrement avec n. Pour une décision serrée, la p-valeur exacte tranche.

Au-delà du test

Avec beaucoup de données, tout écart devient significatif. Rapporter l'intervalle de confiance, qui dit à la fois si l'écart est net et s'il est grand.

Pour aller plus loin

Pourquoi p₀ dans l'erreur-type. Sous H₀, la variance de p̂ est exactement p₀(1 − p₀)/n. Le test du score l'utilise telle quelle ; c'est aussi le test du χ² à un degré de liberté sur le tableau (succès, échecs), puisque χ² = z².

p-valeur exacte bilatérale. La page la définit comme la probabilité binomiale de s'écarter de np₀ d'au moins |x − np₀|, ce qui correspond au même critère que |z|. D'autres définitions existent (doubler la plus petite queue, ou additionner les valeurs de probabilité au plus égale à celle observée) ; elles diffèrent légèrement quand la loi est dissymétrique.

Correction de continuité. Elle améliore l'approximation de la p-valeur exacte, mais rend le test plus prudent : son niveau réel est en moyenne inférieur à α.

Intervalle de Wilson. Ses bornes sont (p̂ + z²/2n ± z√(p̂(1 − p̂)/n + z²/4n²)) / (1 + z²/n), avec z = 1,96. Elles sont les racines de l'équation du second degré (p̂ − p₀)² = z² p₀(1 − p₀)/n.