Statistique

La régression linéaire simple

Tracer « la » droite qui passe au mieux dans un nuage de points : le geste paraît évident, mais il faut dire ce que « au mieux » veut dire, combien la droite obtenue est incertaine, et quand elle trompe. Cette page suit le chemin, de Legendre et Boscovich aux graphiques de résidus.

Le modèle

On dispose de n couples (xᵢ, yᵢ) : heures de révision et note, dose et effet, latitude et longueur d'un arc de méridien. On suppose que y dépend de x selon une droite, à une erreur près :

yᵢ = β₀ + β₁ xᵢ + εᵢ

β₀ est l'ordonnée à l'origine, β₁ la pente (de combien y augmente en moyenne quand x augmente d'une unité), et εᵢ une erreur aléatoire de moyenne nulle. On ne connaît ni β₀ ni β₁ : on les estime par b₀ et b₁ à partir des données. La droite estimée donne les valeurs ajustées ŷᵢ = b₀ + b₁xᵢ, et les écarts eᵢ = yᵢ − ŷᵢ sont les résidus, la part de y que la droite n'explique pas.

Ce n'est pas un hasard si la variable expliquée est notée y : la régression n'est pas symétrique. Elle cherche à prédire y à partir de x, et mesure les erreurs verticalement.

1

Les moindres carrés : la droite qui minimise les carrés

Idée en une phrase : on dessine sur chaque résidu un carré ; la meilleure droite, au sens de Legendre (1805), est celle dont la surface totale de carrés est la plus petite.

Réglez vous-même la pente et l'ordonnée à l'origine : les carrés rouges grandissent ou rétrécissent, et le compteur affiche leur somme, la somme des carrés des résidus SCR. À droite, cette somme est dessinée comme un relief vu de dessus, en lignes de niveau, pour toutes les droites possibles : chaque point de la carte est une droite. Le bouton fait descendre le relief pas à pas jusqu'à son fond, qui est la droite des moindres carrés (trajet orange).

Heures de révision (x) et note obtenue (y) pour 10 élèves. Droite courante en bleu ; carrés rouges construits sur les résidus (même échelle horizontale et verticale à l'écran).
Lignes de niveau de SCR en fonction de l'ordonnée à l'origine b₀ (horizontal) et de la pente b₁ (vertical). Point bleu : la droite courante ; croix verte : le minimum calculé par les formules.
SCR de la droite courante
SCR minimale (moindres carrés)
Excès sur le minimum
Pourquoi des carrés ? Élever au carré rend toutes les erreurs positives et pénalise fortement les grands écarts. Surtout, la SCR est un paraboloïde en (b₀, b₁) : ses lignes de niveau sont des ellipses et son fond se calcule par une formule exacte, en annulant deux dérivées. L'excès d'une droite quelconque sur le minimum est lui aussi une forme quadratique, ce que vérifie la page. Les ellipses sont très allongées et inclinées : changer la pente oblige à compenser par l'ordonnée à l'origine, car la droite doit passer près du centre du nuage.
2

Les formules et leurs propriétés

Idée en une phrase : la droite des moindres carrés passe par le point moyen, sa pente est la covariance divisée par la variance de x, et ses résidus sont « sans lien » avec x.

Annuler les dérivées de la SCR donne les équations normales, dont la solution est :

b₁ = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)² = cov(x, y) / var(x)   ·   b₀ = ȳ − b₁ x̄

On en tire des propriétés que la page vérifie en direct : la droite passe par (x̄, ȳ) ; les résidus ont une somme nulle et sont orthogonaux à x (Σxᵢeᵢ = 0) ; la variabilité totale de y se coupe exactement en part expliquée et part résiduelle, SCT = SCE + SCR, et le coefficient de détermination R² = SCE/SCT est le carré du coefficient de corrélation r. Déplacez les points à la souris ou au doigt.

Nuage déplaçable et droite des moindres carrés. Losange : le point moyen (x̄, ȳ). Segments rouges : résidus.
Décomposition de la variabilité : SCT (totale) = SCE (expliquée par la droite) + SCR (résiduelle).
Pente b₁ = cov/var
Ordonnée à l'origine b₀
Contrôles : ŷ(x̄) − ȳ, Σe, Σxe
R² = SCE/SCT et r²
Un levier et un pivot. Comme la droite pivote autour du point moyen, un point éloigné de x̄ agit comme un long levier : le déplacer verticalement fait beaucoup tourner la droite, alors qu'un point proche de x̄ la déplace seulement. Remarquez aussi que b₁ = r · sy/sx : pente et corrélation ont toujours le même signe, mais une forte pente peut aller avec une faible corrélation, et inversement.
3

L'incertitude de la droite : bandes de confiance et de prédiction

Idée en une phrase : avec d'autres données, on aurait obtenu une autre droite ; la page simule des centaines d'échantillons pour voir le faisceau des droites possibles et le comparer aux formules.

On fixe un « vrai » modèle, y = 2 + 0,5x + erreur normale d'écart-type σ, et l'on tire sans cesse de nouveaux échantillons aux mêmes x. Chaque échantillon donne sa droite (en gris). Théorie : la pente estimée b₁ a pour écart-type σ/√Sxx, avec Sxx = Σ(xᵢ − x̄)² ; comme σ est inconnu, on l'estime par s = √(SCR/(n − 2)) et l'on utilise la loi de Student à n − 2 degrés de liberté. Pour l'échantillon courant, on trace deux bandes : la bande de confiance pour la droite moyenne, et la bande de prédiction, plus large, pour une nouvelle observation.

Faisceau des droites estimées (gris), vraie droite (vert), échantillon courant (points) avec sa bande de confiance à 95 % (bleu) et sa bande de prédiction à 95 % (orange).
Histogramme des pentes estimées et loi normale de moyenne 0,5 et d'écart-type σ/√Sxx.
Écart-type des pentes simulées
Couverture de l'intervalle de la pente à 95 %
Couverture de l'intervalle de prédiction à 95 %
Échantillons simulés
Une droite plus sûre au centre qu'aux bords. Les bandes sont étroites près de x̄ et s'évasent vers les extrémités : une erreur sur la pente se fait sentir d'autant plus qu'on s'éloigne du pivot. Resserrer les x divise Sxx et fait exploser l'incertitude sur la pente : pour estimer une pente, il faut des x bien étalés. Enfin, la bande de prédiction ne se resserre pas indéfiniment quand n grandit : elle garde au moins la largeur ±1,96σ, celle de l'erreur propre à chaque observation.
4

Les résidus parlent : diagnostics et points influents

Idée en une phrase : une droite se calcule toujours, même quand le modèle est faux ; c'est le graphique des résidus qui le révèle.

Si le modèle est bon, les résidus tracés en fonction des valeurs ajustées forment une bande horizontale sans structure. Une courbe en arc trahit une liaison non linéaire ; un entonnoir, une variance qui change avec x (hétéroscédasticité). Le levier hᵢ d'un point mesure son éloignement en x (hᵢ = 1/n + (xᵢ − x̄)²/Sxx) ; la distance de Cook combine levier et résidu pour mesurer combien le point déplace la droite. La taille des points est proportionnelle à leur distance de Cook.

Données et droite des moindres carrés (bleu) ; en pointillé gris, la droite calculée sans le point le plus influent. Points rouges : distance de Cook supérieure à 4/n.
Résidus en fonction des valeurs ajustées ; la courbe verte est une moyenne mobile des résidus, qui doit rester plate si le modèle est bon.
Pente avec tous les points
Pente sans le point le plus influent
Distance de Cook maximale
Levier maximal
R²
R² ne suffit pas. Une liaison courbe peut donner un R² élevé ; un point unique à fort levier peut fabriquer ou détruire une pente. Le point isolé à droite a un levier proche de 0,8, alors que le levier moyen ne vaut que 2/n ≈ 0,13 : selon sa hauteur, la droite suit la tendance des autres points ou s'en écarte complètement, et sa distance de Cook s'envole. La somme des leviers vaut toujours 2, le nombre de coefficients estimés, ce que la page vérifie.
5

Boscovich et la forme de la Terre

Idée en une phrase : la première régression de l'histoire, en 1757, cherchait l'aplatissement de la Terre dans cinq mesures d'arcs de méridien, et elle minimisait les valeurs absolues plutôt que les carrés.

Si la Terre est aplatie aux pôles, un degré de latitude y est plus long qu'à l'équateur. Au premier ordre, la longueur d'un degré vaut L(φ) ≈ a + b sin²φ, et l'aplatissement f vaut environ b/(3a). Roger Boscovich dispose de cinq mesures (en toises) : Quito, le cap de Bonne-Espérance, Rome, Paris et la Laponie. Cinq points pour deux inconnues : aucune droite ne passe par tous. Boscovich impose deux conditions : la somme des écarts doit être nulle, et la somme de leurs valeurs absolues minimale. Sa solution revient à prendre une médiane pondérée de pentes. Les moindres carrés n'apparaîtront qu'en 1805, chez Legendre.

Longueur d'un degré de méridien en fonction de sin²(latitude). Orange : moindres carrés ; bleu : méthode de Boscovich (passe par le point moyen) ; vert : moindres valeurs absolues sans contrainte. Les lettres désignent les cinq sites.
Somme des valeurs absolues des écarts en fonction de la pente, pour les droites passant par le point moyen : une ligne brisée dont le minimum tombe sur l'une des pentes issues du centre (traits gris).
Moindres carrés : aplatissement
Boscovich : aplatissement
Moindres valeurs absolues : aplatissement
Valeur actuelle (ellipsoïde GRS 80)
1/298,26
La bonne méthode, des données imparfaites. Les trois ajustements confirment l'aplatissement aux pôles prédit par Newton, mais l'estiment autour de 1/210 à 1/250, nettement plus fort que la valeur actuelle. Ce n'est pas la faute de la méthode : la mesure du cap de Bonne-Espérance, trop longue, tire la droite (on comprit plus tard qu'une déviation de la verticale près des montagnes avait faussé la latitude). Boscovich a aussi inventé, sans le savoir, la première méthode robuste de régression.

Trois façons de tracer « la » droite, sur un nuage de 20 points dont un se transforme progressivement en valeur aberrante. Les moindres carrés (Legendre, Gauss) ; les moindres valeurs absolues (Boscovich, Laplace), dont la droite passe toujours par deux des points ; la droite de Theil-Sen (1950-1968), dont la pente est la médiane des pentes de toutes les paires de points. Le graphique de droite suit la pente de chaque méthode quand on remplace de plus en plus de points par des valeurs aberrantes.

Le nuage (rouge : points remplacés par des valeurs aberrantes) et les trois droites : moindres carrés (orange), moindres valeurs absolues (vert), Theil-Sen (bleu). Pointillé gris : la vraie droite.
Pente estimée par chaque méthode en fonction du nombre de points remplacés ; trait gris : la vraie pente (0,5).
Pente : moindres carrés
Pente : moindres valeurs absolues
Pente : Theil-Sen
médiane des 190 pentes de paires
Le prix des carrés. Un seul point aberrant suffit à faire basculer la droite des moindres carrés, car son grand résidu, une fois élevé au carré, domine la somme. Theil-Sen tient jusqu'à près de 29 % de points aberrants. Les moindres valeurs absolues résistent bien aux écarts en y, mais restent sensibles aux points à fort levier en x. Les carrés l'ont emporté pour une raison pratique : avant les ordinateurs, eux seuls donnaient une formule fermée.

Repères historiques

Calculer

b₁ = cov(x, y)/var(x), b₀ = ȳ − b₁x̄. La droite passe par le point moyen ; R² = r² mesure la part de variabilité expliquée.

Mesurer l'incertitude

Erreur-type de la pente s/√Sxx, loi de Student à n − 2 degrés de liberté ; bande de confiance pour la droite, bande de prédiction pour une nouvelle valeur.

Vérifier

Toujours regarder le graphique des résidus et les points à fort levier ; en cas de doute, comparer avec une méthode robuste (Theil-Sen, valeurs absolues).

Pour aller plus loin

Théorème de Gauss-Markov. Si les erreurs sont de moyenne nulle, de même variance et non corrélées, les estimateurs des moindres carrés sont, parmi tous les estimateurs linéaires sans biais, ceux de plus petite variance. Avec des erreurs normales, ce sont aussi les estimateurs du maximum de vraisemblance.

Les bandes. Bande de confiance : ŷ(x₀) ± t·s·√(1/n + (x₀ − x̄)²/Sxx) ; bande de prédiction : ŷ(x₀) ± t·s·√(1 + 1/n + (x₀ − x̄)²/Sxx), où t est le quantile de Student à n − 2 degrés de liberté.

Distance de Cook. Dᵢ = eᵢ² hᵢ / (2 s² (1 − hᵢ)²). Elle est égale à la variation de toutes les valeurs ajustées quand on retire le point i, ramenée à l'échelle de la variance.

Régression multiple. Avec plusieurs variables explicatives, les mêmes idées s'écrivent en matrices : b = (XᵀX)⁻¹Xᵀy, les leviers sont les éléments diagonaux de X(XᵀX)⁻¹Xᵀ, et leur somme est le nombre de coefficients.