Statistique

Les estimateurs : biais, variance et convergence

Deviner une quantité inconnue à partir d’un échantillon : comment juger une recette de calcul, et pourquoi la meilleure n’est pas toujours celle qu’on croit.

L’idée en une phrase. Un paramètre θ est une quantité inconnue de la population (une moyenne, une proportion, une variance) ; un estimateur θ̂ est une recette de calcul appliquée à un échantillon tiré au hasard. Comme l’échantillon est aléatoire, θ̂ l’est aussi : chaque nouvel échantillon donne une nouvelle estimation. Juger un estimateur, c’est juger la loi de toutes ces estimations possibles.

Qualité	Définition	Image	Planche
Biais	b = E(θ̂) − θ : l’erreur systématique, en moyenne	le tireur vise à côté	1, 2
Variance	Var(θ̂) = E[(θ̂ − E θ̂)²] : l’instabilité d’un échantillon à l’autre	la main tremble	1, 2, 4
Erreur quadratique moyenne	EQM = E[(θ̂ − θ)²] = b² + Var(θ̂)	la distance moyenne au centre	1, 2, 5
Convergence	θ̂ₙ se rapproche de θ quand la taille n de l’échantillon grandit	le tir se resserre sur le centre	3
Efficacité	la variance atteint la plus petite valeur possible, la borne de Cramér-Rao	impossible de trembler moins	4

La cible et les fléchettes : biais et variance

Quatre tireurs visent le centre d’une cible, qui joue le rôle du paramètre inconnu θ. Chaque fléchette est une estimation tirée d’un nouvel échantillon. Le premier est juste et précis, le deuxième juste mais tremblant, le troisième précis mais réglé de travers, le dernier cumule les deux défauts. Le biais est l’écart entre le centre du nuage et le centre de la cible ; la variance mesure l’étalement du nuage autour de son propre centre. Leur combinaison, l’erreur quadratique moyenne, est la moyenne des carrés des distances au centre de la cible.

Les quatre cibles. Croix rouge : le centre moyen des impacts ; la flèche rouge figure le biais. Cercle orange : un écart-type autour du centre moyen.

Taille de l’échantillon de chaque tir n

Tireur 1 : biais², variance, EQM—

Tireur 2—

Tireur 3—

Tireur 4—

Contrôle EQM = biais² + variance—

Augmentez n : chaque estimation repose alors sur plus de données, la variance diminue comme 1/n et les nuages se resserrent. Mais le biais, lui, ne bouge pas : le troisième tireur finit par planter toutes ses fléchettes au même mauvais endroit. Avec de petits échantillons, il fait pourtant mieux que le deuxième : un léger biais peut se payer par une forte baisse de variance. C’est le compromis biais-variance, que l’on retrouvera aux planches 2 et 5.

Estimer une variance : diviser par n, par n − 1 ou par n + 1 ?

Pour estimer la variance σ² d’une population, on calcule la somme des carrés des écarts à la moyenne de l’échantillon, Σ(xᵢ − x̄)², puis on la divise par un nombre d. Avec d = n, l’estimateur est biaisé vers le bas : les écarts à x̄ sont plus petits que les écarts à la vraie moyenne. Avec d = n − 1 (correction de Bessel), il est sans biais. Mais l’erreur quadratique moyenne, elle, est la plus faible pour d = n + 1 quand la population est normale : en acceptant un léger biais vers le bas, on gagne davantage en variance.

Erreur quadratique moyenne de l’estimateur selon le diviseur d, divisée par σ⁴ : formule exacte (bleu), part due au biais (vert) et à la variance (violet), simulation (points orange). Repères n − 1, n et n + 1.

Taille de l’échantillon n Population

Diviseur optimal : formule et simulation—

EQM/σ⁴ pour d = n − 1 ; n ; n + 1—

Biais relatif mesuré pour d = n − 1—

Et l’écart-type ? E(s)/σ pour d = n − 1—

Sans biais ne veut pas dire meilleur. Pour une population normale et n = 5, diviser par 6 plutôt que par 4 réduit l’erreur quadratique d’un tiers. Le diviseur optimal dépend de la forme de la population, par son aplatissement : il vaut n + 1 pour une loi normale, plus pour une loi à queues lourdes comme l’exponentielle, moins pour la loi uniforme. Et même avec d = n − 1, la racine carrée s est biaisée : un estimateur sans biais de σ² ne donne pas un estimateur sans biais de σ.

La convergence : l’estimateur se rapproche-t-il du but ?

Un estimateur est convergent (on dit aussi consistant) si, quand la taille n de l’échantillon grandit, la probabilité qu’il s’écarte de θ de plus de ε tend vers 0, pour tout ε. Être sans biais ne suffit pas, et un biais n’empêche pas la convergence. Comparez cinq estimateurs d’un centre θ = 0 : la moyenne (loi normale), la première observation seule, la moyenne augmentée de 2/√n, puis la moyenne et la médiane d’une loi de Cauchy, dont les queues sont si lourdes qu’elle n’a pas d’espérance.

À gauche : trente suites d’estimations quand n grandit (échelle logarithmique) ; la bande verte est θ ± ε. À droite : P(|θ̂ₙ − θ| > ε) selon n, valeur exacte (bleu) et fréquence sur 2 000 suites simulées (orange).

Estimateur Tolérance ε

Sans biais ?—

P(|θ̂ − θ| > ε) pour n = 1 001 : exacte et simulée—

Convergent ?—

La première observation est sans biais mais ne converge pas : elle n’utilise jamais les données suivantes. La moyenne augmentée de 2/√n est biaisée, mais son biais s’éteint et elle converge. Le cas de Cauchy est le plus frappant : la moyenne de 1 000 observations n’est pas plus précise qu’une seule — elle a exactement la même loi —, alors que la médiane converge sans difficulté. La moyenne n’est un bon estimateur que si la population a une variance finie.

L’efficacité : la borne de Cramér-Rao et le maximum de vraisemblance

Pour estimer le centre θ d’une loi, aucun estimateur sans biais ne peut avoir une variance inférieure à 1/(n·I), où I est l’information de Fisher : c’est la borne de Cramér-Rao (1945-1946). Un estimateur qui l’atteint est dit efficace. Le meilleur estimateur dépend de la forme de la loi : la moyenne pour une loi normale, la médiane pour une loi de Laplace, le maximum de vraisemblance (calculé ici par la méthode de Newton) pour une loi de Cauchy. On compare n × variance, qui doit se stabiliser.

n × variance de chaque estimateur, mesurée sur 4 000 échantillons (barres) et valeur limite théorique (trait noir) ; ligne rouge : la borne de Cramér-Rao 1/I. Une barre qui sort du cadre est marquée « très grande ».

Loi de la population Taille de l’échantillon n

Borne de Cramér-Rao (× n)—

Moyenne : n·Var mesurée et limite—

Médiane : n·Var mesurée et limite—

Maximum de vraisemblance : n·Var mesurée—

Pour une loi normale, la moyenne atteint la borne et la médiane a une variance 57 % plus grande (π/2 = 1,571). Pour une loi de Laplace, c’est l’inverse : la médiane est efficace et la moyenne deux fois moins bonne — la médiane n’approche toutefois sa limite que lentement (n·Var vaut encore environ 1,2 pour n = 51). Pour une loi de Cauchy, la moyenne est inutilisable, la médiane fait π²/4 = 2,467 et le maximum de vraisemblance descend à la borne 2. Fisher (1922) a montré que le maximum de vraisemblance atteint asymptotiquement la borne dans des conditions très générales : c’est pourquoi il est la méthode d’estimation par défaut.

Signature — le paradoxe de Stein : estimer mieux en mélangeant ce qui n’a rien à voir

On veut estimer d moyennes θ₁, …, θ_d sans rapport entre elles (le prix du blé, la taille moyenne des Danois, la vitesse de la lumière…), avec une seule mesure bruitée xᵢ = θᵢ + bruit normal de variance 1 pour chacune. L’estimateur évident, θ̂ᵢ = xᵢ, est sans biais, de risque total d. En 1956, Charles Stein démontre qu’en dimension d ≥ 3 on peut faire strictement mieux, quel que soit θ : l’estimateur de James et Stein (1961) rapproche toutes les mesures de 0 du facteur 1 − (d − 2)/‖x‖². Rapprocher l’estimation du prix du blé de celle de la vitesse de la lumière améliore l’ensemble !

Un tirage : vraies valeurs θᵢ (vert), mesures xᵢ (bleu) et estimations de James-Stein (rouge), tirées vers 0. Les flèches montrent le rétrécissement.

Risque total (erreur quadratique totale moyenne) selon la distance ‖θ‖ des vraies valeurs à 0 : estimateur évident (gris, toujours égal à d), James-Stein exact (rouge), James-Stein à partie positive simulé (orange). Le point bleu marque le réglage actuel et sa mesure par simulation.

Nombre de moyennes d Distance ‖θ‖ des vraies valeurs à 0

Risque de l’estimateur évident—

Risque de James-Stein : exact et simulé—

Gain—

Facteur de rétrécissement moyen—

Pour d = 2, James-Stein ne change rien (le facteur vaut 1) ; pour d = 1, il éloigne même la mesure de 0 et son risque devient infini. Dès d = 3, son risque est inférieur à d pour toute valeur de θ ; il vaut exactement 2 quand θ = 0, quelle que soit la dimension. Le gain est énorme quand les vraies valeurs sont proches de 0, et s’amenuise sans jamais s’annuler quand elles s’en éloignent. Ce n’est pas de la magie : l’amélioration porte sur l’erreur totale, pas sur chaque coordonnée séparément. Efron et Morris l’ont rendue célèbre en 1975 en prédisant mieux les moyennes de frappe de joueurs de base-ball ; c’est l’ancêtre des méthodes de régularisation (ridge, lasso) de l’apprentissage automatique.

Repères historiques

1809Carl Friedrich Gauss justifie la méthode des moindres carrés ; en 1823, il montre qu’elle donne les estimateurs sans biais de plus petite variance parmi les estimateurs linéaires.
1823Gauss utilise le diviseur n − 1 pour estimer la variance des erreurs ; la correction porte aujourd’hui le nom de Bessel.
1922Ronald Fisher publie On the mathematical foundations of theoretical statistics : il y définit la consistance, l’efficacité, l’exhaustivité et le maximum de vraisemblance.
1945-1946Calyampudi Radhakrishna Rao et Harald Cramér établissent la borne de variance qui porte leurs noms.
1956Charles Stein démontre que la moyenne observée n’est pas admissible en dimension 3 ou plus.
1961Willard James et Charles Stein donnent l’estimateur explicite qui la bat.
1975Bradley Efron et Carl Morris popularisent l’effet Stein avec les moyennes de frappe du base-ball.

Ce qu’il faut retenir

EQM = biais² + variance

L’erreur d’un estimateur se partage entre erreur systématique et instabilité. Le meilleur estimateur, au sens de l’EQM, accepte souvent un peu de biais pour réduire la variance.

Convergence

Un bon estimateur se resserre sur θ quand n grandit. Être sans biais n’est ni nécessaire ni suffisant ; il faut surtout que la variance tende vers 0.

Efficacité et rétrécissement

La borne de Cramér-Rao fixe la meilleure variance possible ; le maximum de vraisemblance l’atteint asymptotiquement. Mais en dimension 3 ou plus, rapprocher les estimations les unes des autres fait mieux encore.

Pour aller plus loin

La décomposition. E[(θ̂ − θ)²] = E[(θ̂ − Eθ̂ + Eθ̂ − θ)²] = Var(θ̂) + (Eθ̂ − θ)², le terme croisé ayant une espérance nulle.

Le diviseur optimal. Avec Q = Σ(xᵢ − x̄)², E(Q) = (n − 1)σ² et, pour une population d’excès d’aplatissement κ, Var(Q) = (n − 1)²σ⁴(2/(n − 1) + κ/n). L’EQM de Q/d est minimale pour d = (n − 1)(1 + 2/(n − 1) + κ/n), soit n + 1 pour la loi normale (κ = 0).

L’information de Fisher d’une loi de densité f(x − θ) vaut I = ∫ f′²/f : 1/σ² pour la loi normale, 1/b² pour la loi de Laplace, 1/(2γ²) pour la loi de Cauchy.