La statistique fait le chemin inverse du calcul des probabilités : la loi est inconnue, et l'on ne dispose que de quelques tirages. Toute la discipline consiste à remonter de l'échantillon à la population en sachant dire de combien on peut se tromper. Ici la population est fabriquée par la page : on connaît donc la vérité, et l'on peut noter chaque méthode sur pièces.
À gauche, la population entière et ses paramètres μ et σ — inconnus dans la vraie vie. À droite, ce que devient la moyenne x̄ quand on retire un échantillon, puis un autre, puis mille. Une statistique n'est pas un nombre : c'est une variable aléatoire, et elle a sa propre loi.
Deux échantillons de la même population ne donnent jamais la même moyenne : c'est la fluctuation d'échantillonnage, et elle n'est pas une erreur de mesure. Elle obéit à une loi précise, dont l'écart-type vaut σ/√n quelle que soit la forme de la population. Diviser l'incertitude par deux coûte donc quatre fois plus d'observations — la contrainte économique fondamentale de toute enquête.
Pour estimer le centre d'une population, trois candidats raisonnables : la moyenne, la médiane, le milieu de l'étendue. Chacun a sa loi. On les note sur deux critères — se tromper en moyenne (le biais) et se tromper de peu (la variance) — que l'erreur quadratique moyenne réunit.
| Estimateur | Biais | Écart-type | EQM | biais² + variance | Efficacité |
|---|
—
Une population uniforme sur [0 ; θ] — des tickets numérotés, dont on ne connaît pas le dernier numéro. Méthode des moments : la moyenne théorique vaut θ/2, donc on propose 2x̄. Maximum de vraisemblance : on cherche le θ qui rend l'échantillon observé le plus probable — c'est le plus grand numéro tiré. Les deux sont légitimes ; ils ne se valent pas du tout.
| Estimateur de θ = 1 | Biais mesuré | Biais théorique | EQM mesurée | EQM théorique |
|---|
La vraisemblance n'est pas une densité en x mais une fonction de θ : ici elle vaut θ−n au-dessus du plus grand tirage et zéro en dessous — aucun θ plus petit que le maximum observé ne peut avoir produit cet échantillon. Le sommet tombe donc exactement sur le maximum. Cet estimateur est biaisé (il sous-estime toujours), mais le multiplier par (n+1)/n corrige le biais et laisse une erreur (n+2)/3 fois plus petite que celle de la méthode des moments. Un estimateur biaisé peut être bien meilleur qu'un estimateur sans biais : c'est l'erreur totale qui compte, pas la justesse seule.
« 95 % » ne dit rien sur l'intervalle qu'on tient dans la main : il porte sur la méthode. Sur un grand nombre d'échantillons, 95 % des intervalles fabriqués de cette façon contiennent la vraie valeur. Vérifions — et regardons deux recettes très répandues échouer.
—
Pour la moyenne, la théorie donne σ/√n. Pour la médiane, l'écart-type, un rapport quelconque, elle est difficile ou introuvable. L'idée d'Efron (1979) : traiter l'échantillon comme s'il était la population et y retirer des échantillons avec remise. En violet, ce que voit le statisticien depuis son unique échantillon ; en gris, la vérité — que seule cette page connaît.
—