Statistique

Les intervalles de confiance et leurs applications

Donner une fourchette plutôt qu’un nombre : ce que veut vraiment dire « à 95 % », comment on construit la fourchette, comment on s’en sert pour les sondages, les essais et le contrôle de fabrication, et ce qu’elle ne promet pas.

L’idée en une phrase. Une estimation seule (« la taille moyenne est 171,3 cm ») ne dit rien de sa précision. Un intervalle de confiance à 95 % est une fourchette calculée à partir de l’échantillon par une méthode qui, appliquée à de très nombreux échantillons, attrape la vraie valeur 95 fois sur 100. Le 95 % qualifie la méthode, pas une fourchette particulière.

Le vocabulaire : le paramètre θ est la quantité inconnue de la population (une moyenne, une proportion) ; il est fixe. L’estimateur est calculé sur l’échantillon et fluctue d’un échantillon à l’autre ; son écart-type s’appelle l’erreur-type. Le niveau de confiance 1 − α (souvent 95 %) est la proportion d’échantillons pour lesquels l’intervalle contient θ ; on dit aussi que c’est sa couverture.

Situation	Intervalle à 95 %	Planche
Moyenne, écart-type σ connu	x̄ ± 1,96 σ/√n	1
Proportion, méthode exacte	lue dans la ceinture de Neyman (Clopper-Pearson)	2
Moyenne, σ inconnu	x̄ ± t·s/√n, avec t quantile de la loi de Student	3
Sondage, différence de deux groupes, zéro défaut	marge 1,96·√(p(1 − p)/n), différence, règle de trois	4

Ce que veut dire « 95 % » : le filet et le poisson

La taille moyenne μ d’une population d’adultes vaut 170 cm (la page la connaît, l’enquêteur non), avec un écart-type σ = 8 cm supposé connu. L’enquêteur mesure n personnes et annonce x̄ ± z·σ/√n, où z = 1,96 pour 95 %. Chaque échantillon donne un intervalle différent : la vraie valeur est le poisson, immobile ; l’intervalle est un filet lancé au hasard. Regardez les filets tomber : la plupart attrapent le poisson, quelques-uns (en rouge) le manquent.

À gauche : les 50 derniers intervalles, empilés du plus ancien (en haut) au plus récent ; la verticale verte est la vraie moyenne μ = 170. À droite : proportion cumulée d’intervalles qui contiennent μ (bleu), le niveau annoncé (vert) et l’entonnoir des fluctuations normales du hasard (gris).

Taille de l’échantillon n Niveau de confiance

Intervalles tirés—

Part qui contient μ, mesurée / annoncée—

Coefficient z—

Largeur de chaque intervalle—

Une fois l’échantillon tiré, l’intervalle obtenu contient μ ou ne le contient pas : il n’y a plus de hasard. Dire « μ a 95 % de chances d’être dans [167,1 ; 173,4] » est donc un abus de langage ; la bonne phrase est « cette fourchette a été produite par une méthode qui réussit 95 fois sur 100 ». Quadrupler n divise la largeur par deux ; monter de 95 % à 99 % l’élargit d’un tiers (2,576 au lieu de 1,960). La précision se paie en taille d’échantillon, la sécurité en largeur.

Construire un intervalle : la ceinture de Neyman

Comment fabriquer une méthode qui réussit au moins 95 fois sur 100, sans formule approchée ? Jerzy Neyman a donné la recette générale. Exemple : on observe k succès sur n essais, de probabilité p inconnue. Pour chaque valeur possible de p, on calcule les valeurs de k « normales » : celles qui restent après avoir retiré au plus 2,5 % de probabilité à gauche et 2,5 % à droite. Ces plages forment une bande, la ceinture de confiance. Ensuite, on lit la ceinture à l’envers : l’intervalle de confiance est l’ensemble des p pour lesquels le k observé est normal. Comme le vrai p voit son k tomber dans sa plage au moins 95 fois sur 100, l’intervalle contient p au moins 95 fois sur 100. C’est l’intervalle « exact » de Clopper et Pearson (1934).

À gauche : la ceinture (bleu) — horizontalement le nombre de succès k, verticalement p ; chaque ligne horizontale de la ceinture est la plage des k « normaux » pour ce p. La verticale rouge est le k observé ; le segment rouge épais, l’intervalle lu. À droite : couverture exacte en fonction du vrai p, calculée sur la loi binomiale, pour Clopper-Pearson (bleu) et pour l’intervalle approché p̂ ± 1,96·√(p̂(1 − p̂)/n) (orange).

Nombre d’essais n Succès observés k

Intervalle lu dans la ceinture—

Contrôle : quantiles de la loi bêta—

Couverture minimale sur tous les p : exacte / approchée—

La couverture de Clopper-Pearson ne descend jamais sous 95 % : c’est la garantie de la construction. En contrepartie, elle est souvent bien au-dessus (dents de scie, car k ne prend que des valeurs entières) : l’intervalle est un peu trop large, « conservateur ». L’intervalle approché, lui, peut s’effondrer quand p est proche de 0 ou de 1. La ceinture de Neyman s’applique à n’importe quel paramètre : c’est le principe commun à tous les intervalles de cette page.

Quand σ est inconnu : la correction de Student

En pratique, on ne connaît pas σ : on le remplace par l’écart-type s de l’échantillon. Mais s fluctue lui aussi, et souvent par défaut. Avec 1,96 on obtient alors des intervalles trop étroits, surtout pour les petits échantillons. William Gosset, chimiste chez Guinness, a publié en 1908 sous le pseudonyme « Student » la loi exacte de T = (x̄ − μ)/(s/√n) pour des données normales : elle a des queues plus épaisses que la loi normale. Il suffit de remplacer 1,96 par son quantile t, d’autant plus grand que n est petit.

À gauche : les 40 derniers échantillons, chacun avec deux intervalles, x̄ ± 1,96·s/√n (orange, en haut) et x̄ ± t·s/√n (bleu, en bas) ; un trait rouge signale un intervalle qui manque μ = 0. À droite : densité de T à n − 1 degrés de liberté (bleu) contre la loi normale (vert pointillé), avec les seuils ±1,96 et ±t.

Taille de l’échantillon n

Quantile t à 95 % (n − 1 degrés de liberté)—

Couverture avec 1,96 : mesurée / exacte—

Couverture avec t : mesurée / exacte—

Pour n = 5, l’intervalle « avec 1,96 » ne couvre que 87,8 % du temps ; pour n = 2, à peine 70 %. Le quantile t (2,776 pour n = 5, 12,706 pour n = 2) rétablit exactement 95 %. La correction devient négligeable au-delà d’une trentaine d’observations (2,045 pour n = 30). Remarquez aussi que les intervalles de Student n’ont pas tous la même largeur : elle dépend de s, donc de l’échantillon.

Trois applications : sondages, comparaisons, zéro défaut

Un institut interroge n personnes tirées au hasard ; la candidate A obtient la proportion p̂. La marge d’erreur publiée est la demi-largeur de l’intervalle à 95 % : 1,96·√(p̂(1 − p̂)/n), maximale pour p̂ = 50 %, où elle vaut à peu près 1/√n. Elle ne dépend pas de la taille du pays, seulement de n. Et l’écart entre deux candidats, mesuré sur le même échantillon, a une marge presque double.

À gauche : marge d’erreur (en points) selon n, en échelle logarithmique, pour p = 50 % (bleu) et pour la proportion choisie (orange) ; règle 1/√n en pointillé gris. À droite : 400 sondages simulés de taille n — chaque point est (p̂_A ; p̂_B), avec la croix des vraies valeurs ; la bande rouge montre la marge de l’écart A − B.

Taille du sondage n Vraie part de A Vraie part de B

Marge pour A—

Taille pour une marge de ± 2 points à 50 %—

Marge de l’écart A − B : formule / simulation—

Un traitement et un placebo, 50 patients chacun ; on mesure une baisse de tension (écart-type 10 supposé connu). On publie souvent l’intervalle de chaque groupe, puis on regarde s’ils se chevauchent. Erreur fréquente : deux intervalles qui se chevauchent n’empêchent pas une différence significative. Le bon outil est l’intervalle de la différence, d ± 1,96·√(σ²/n₁ + σ²/n₂), qui est √2 fois plus large qu’un intervalle de groupe, et non deux fois. Et l’intervalle de la différence exclut 0 exactement quand le test au seuil 5 % est significatif.

À gauche : moyennes et intervalles des deux groupes (placebo en orange, traitement en bleu), et intervalle de la différence (rouge) avec la ligne 0. À droite : 2 000 essais simulés pour l’effet réel choisi ; chaque essai est placé selon sa différence observée, coloré selon qu’il est significatif (bleu) ou non (gris) ; la zone hachurée rassemble les essais significatifs dont les deux intervalles se chevauchent pourtant.

Effet réel du traitement

Essai affiché—

Dualité test ↔ intervalle—

Significatifs malgré le chevauchement—

Un fabricant contrôle n pièces et n’en trouve aucune défectueuse. La formule approchée donne une marge nulle, donc l’intervalle [0 ; 0] : absurde. L’intervalle exact se lit comme à la planche 2 : la borne haute est la proportion p pour laquelle « zéro défaut sur n » n’a plus que 5 % de chances, soit (1 − p)ⁿ = 0,05, d’où p = 1 − 0,05^(1/n). Comme ln 0,05 ≈ −3, cela donne la célèbre règle de trois : la proportion de défauts est, à 95 %, inférieure à 3/n.

Probabilité d’observer zéro défaut sur n pièces, (1 − p)ⁿ, selon la vraie proportion p (bleu). Elle tombe à 5 % (ligne rouge) à la borne exacte (point rouge) ; la règle de trois (orange) est juste à côté.

Pièces contrôlées n

Borne exacte 1 − 0,05^(1/n)—

Règle de trois 3/n—

Formule approchée[0 ; 0]p̂ = 0 donne une marge nulle

Trois usages, trois leçons. Un sondage de 1 000 personnes a une marge d’environ 3 points, mais l’écart entre deux candidats a une marge presque double : un écart de 4 points n’est pas toujours significatif. Pour comparer deux groupes, il faut l’intervalle de la différence, pas le chevauchement des intervalles de chaque groupe. Et quand on n’observe rien, l’intervalle exact dit quand même quelque chose : 0 défaut sur 100 pièces garantit (à 95 %) moins de 3 % de défauts, pas zéro.

Signature — ce que « 95 % » ne promet pas

La garantie d’un intervalle de confiance porte sur la méthode, appliquée une fois, à un échantillon tiré au hasard, sans choisir après coup ce qu’on montre. Deux expériences montrent ce qui arrive quand on oublie ces conditions.

Un laboratoire teste 20 molécules. Chaque effet réel θᵢ est tiré au hasard autour de 0 (dispersion τ, en unités d’erreur-type), chaque mesure est θᵢ plus une erreur normale, et chaque molécule reçoit son intervalle à 95 %. Trois questions : tous les intervalles sont-ils justes à la fois ? Que fait la correction de Bonferroni (niveau 1 − 5 %/20 pour chacun) ? Et l’intervalle de la molécule la plus prometteuse, celle qu’on mettra en avant, couvre-t-il encore 95 % du temps ?

À gauche : la dernière campagne — les 20 effets réels (points verts), les intervalles à 95 % (bleu, rouge s’ils manquent) et l’intervalle de Bonferroni (gris clair) ; la molécule gagnante est encadrée. À droite : fréquences cumulées sur toutes les campagnes, avec leur valeur théorique en pointillé.

Dispersion des effets réels τ

Campagnes simulées—

Les 20 intervalles justes à la fois—

Avec Bonferroni—

Couverture de l’intervalle du gagnant—

Deux mesures X₁, X₂ sont tirées uniformément dans [θ − ½ ; θ + ½]. L’intervalle [min ; max] contient θ exactement quand une mesure tombe de chaque côté : probabilité ½. C’est donc un intervalle de confiance à 50 %, irréprochable. Mais regardez l’écart r = max − min : si r dépasse ½, l’intervalle contient certainement θ (les deux mesures ne peuvent pas être du même côté) ; s’il est minuscule, il le rate presque sûrement. Les données elles-mêmes disent si l’on est dans un bon ou un mauvais cas, et le « 50 % » n’en tient pas compte. Exemple classique, dans l’esprit de Welch (1939).

À gauche : les derniers tirages (deux points et leur intervalle, vert s’il contient θ, rouge sinon) avec le domaine [θ − ½ ; θ + ½]. À droite : part des intervalles qui contiennent θ, classés selon leur largeur r (barres), contre la formule exacte r/(1 − r), plafonnée à 1 au-delà de r = ½ (courbe bleue) ; la ligne orange est le 50 % annoncé.

Tirages—

Couverture globale, mesurée / annoncée—

Quand r > ½—

Quand r < 0,1—

Avec 20 intervalles à 95 %, la probabilité qu’ils soient tous justes n’est que 0,95²⁰ ≈ 36 % ; Bonferroni rétablit au moins 95 % pour l’ensemble, au prix d’intervalles plus larges. L’intervalle du gagnant, choisi parce qu’il est le plus haut, est biaisé vers le haut : quand tous les effets sont nuls, il ne couvre plus qu’environ 60 % du temps (la « malédiction du vainqueur »). Le paradoxe des deux mesures montre enfin qu’un niveau de confiance est une moyenne sur tous les échantillons possibles, pas la probabilité attachée à l’échantillon qu’on a sous les yeux : c’est la frontière entre la confiance de Neyman et la probabilité a posteriori des bayésiens.

Repères historiques

1812Pierre-Simon Laplace, dans sa Théorie analytique des probabilités, donne des limites entre lesquelles une proportion inconnue se trouve avec une forte probabilité, grâce à l’approximation normale.
1908William Gosset (« Student ») publie la loi de t pour les petits échantillons (planche 3).
1927Edwin Wilson propose son intervalle pour une proportion, obtenu en inversant le test plutôt qu’en remplaçant p par p̂.
1930Ronald Fisher introduit l’argument « fiduciaire », autre manière de donner des limites à un paramètre.
1934Jerzy Neyman, dans un article sur les sondages, introduit les intervalles de confiance ; Clopper et Pearson publient l’intervalle exact pour une proportion (planche 2).
1937Neyman expose la théorie générale de l’estimation par intervalle de confiance.
1939Bernard Welch montre, sur des lois uniformes, qu’un intervalle de confiance ignore une information présente dans les données (planche 5).
1979Bradley Efron introduit le bootstrap, qui calcule des intervalles par rééchantillonnage, sans formule.

Ce qu’il faut retenir

Le sens

Le niveau 95 % est la fréquence de réussite de la méthode sur tous les échantillons possibles. Une fois l’intervalle calculé, il contient la vraie valeur ou pas.

La construction

Inverser une famille de tests (ceinture de Neyman) ; en pratique, estimation ± quantile × erreur-type, avec le quantile de Student si σ est estimé, et des méthodes exactes pour les petites proportions.

Les précautions

Comparer avec l’intervalle de la différence, corriger quand on publie beaucoup d’intervalles, ne pas choisir après coup celui qu’on montre, et se souvenir que la garantie est une moyenne.

Pour aller plus loin

Intervalle et test. Un intervalle de confiance à 95 % est exactement l’ensemble des valeurs θ₀ que le test de « θ = θ₀ » au seuil 5 % ne rejette pas. Toute la théorie des tests se transpose aux intervalles, et réciproquement.

Intervalles bayésiens. Un intervalle de crédibilité contient θ avec une probabilité de 95 % sachant les données, au sens d’une loi a priori sur θ. Pour une moyenne avec un a priori très étalé, il coïncide numériquement avec l’intervalle de confiance ; dans des cas comme celui des deux mesures uniformes, il en diffère, car il tient compte de l’écart observé.

Autres méthodes. Intervalle de vraisemblance (théorème de Wilks), bootstrap percentile et BCa, intervalles de Wilson et d’Agresti-Coull pour les proportions, intervalles de prédiction (pour une future observation, plus larges que ceux de la moyenne) et de tolérance (pour une part de la population).