La régression par les moindres carrés est sans biais, mais elle devient instable quand les variables explicatives sont corrélées ou trop nombreuses. Trois remèdes font accepter un peu de biais pour gagner beaucoup en stabilité : ridge rétrécit les coefficients, lasso en annule une partie, PLS résume les variables en quelques composantes tournées vers la réponse.
L'idée en une phrase
On cherche à prédire une réponse y à partir de p variables x1, …, xp, centrées et réduites, par y ≈ β1x1 + … + βpxp. Les moindres carrés (MCO) minimisent l'erreur sur les données d'apprentissage ; les trois méthodes ajoutent une contrainte :
ridge (Hoerl et Kennard, 1970) : minimiser (1/2n)‖y − Xβ‖² + (λ/2)Σβj², ce qui pénalise les grands coefficients ;
lasso (Tibshirani, 1996) : minimiser (1/2n)‖y − Xβ‖² + λΣ|βj|, ce qui met exactement à zéro les coefficients les moins utiles ;
PLS (Wold, 1966–1983) : régresser y sur quelques combinaisons des variables choisies pour avoir la plus forte covariance avec y.
Le réglage (λ ou le nombre de composantes) fixe le compromis entre biais et variance ; on le choisit par validation croisée. Toutes les données sont simulées : on connaît donc la vérité, et l'on peut mesurer qui s'en approche.
1
Quand les moindres carrés déraillent
Deux situations ordinaires. À gauche, deux variables très corrélées, toutes deux utiles (y = x1 + x2 + bruit) : on recommence 2 000 fois l'expérience avec 40 observations et l'on place chaque estimation (β̂1, β̂2). À droite, on ajoute des variables de pur bruit à un modèle qui n'en a besoin que de deux.
2 000 estimations des moindres carrés (points bleus). Croix verte : la vérité (1 ; 1). Les estimations s'étalent le long de la droite β₁ + β₂ = 2 : on sait bien estimer la somme, très mal le partage.
Facteur d'inflation de la variance 1/(1 − ρ²)—
Variance de β̂₁ mesurée—
Variance théorique σ²/((n − 3)(1 − ρ²))—
Estimations avec β̂₁ négatif—
R² sur les 30 observations d'apprentissage (bleu) et sur 1 000 observations nouvelles (rouge), en moyenne sur 40 répétitions, selon le nombre de variables inutiles ajoutées.
R² d'apprentissage—
R² sur données nouvelles—
R² idéal (vrai modèle)—
À retenir. Les moindres carrés sont sans biais, mais leur variance est multipliée par 1/(1 − ρ²) quand les variables se ressemblent : pour ρ = 0,99, cinquante fois plus ; les coefficients peuvent même changer de signe. Et chaque variable inutile ajoutée améliore l'ajustement aux données d'apprentissage tout en dégradant la prédiction : c'est le surapprentissage. Les trois méthodes de cette page attaquent ces deux défauts.
2
Ridge : rétrécir pour stabiliser
Ridge cherche le meilleur ajustement parmi les coefficients de norme limitée. Sa solution est explicite : β̂ = (XᵀX/n + λI)⁻¹Xᵀy/n. Ajouter λ à la diagonale rend la matrice toujours inversible et calme les directions mal déterminées.
Dans le plan (β₁, β₂) : courbes de niveau de l'erreur d'ajustement (ellipses grises), centrées sur les MCO (point orange). Cercle rouge : la contrainte. La solution ridge (point bleu) est le point où une ellipse touche le cercle ; quand λ varie, elle parcourt la courbe bleue de l'estimation MCO jusqu'à l'origine. Sur cet échantillon, les MCO donnent même un β₂ négatif, alors que la vérité (croix verte) est (1 ; 1).
Erreur moyenne ‖β̂ − β‖² sur 400 tirages du bruit (points) et théorie (traits) : biais² (orange), variance (violet), total (bleu). λ = 0 correspond aux MCO.
β̂ ridge—
Degrés de liberté effectifs Σ d²/(d² + nλ)—
Trace de la matrice chapeau (contrôle)—
λ optimal (théorie)—
Erreur : MCO / ridge au λ optimal—
À retenir. Ridge rétrécit surtout les coefficients dans les directions où les données informent peu (petites valeurs singulières d), presque pas dans les directions bien mesurées. Il introduit un biais, mais réduit davantage la variance : il existe toujours un λ > 0 qui fait mieux que les moindres carrés (théorème de Hoerl et Kennard). Le nombre de « degrés de liberté effectifs » passe continûment de p (MCO) à 0.
3
Lasso : rétrécir et sélectionner
Remplacer les carrés par des valeurs absolues change la forme de la contrainte : un losange au lieu d'un cercle. Ses pointes sont sur les axes, si bien que l'ellipse le touche souvent en un point où un coefficient est exactement nul. On calcule la solution par descente coordonnée : chaque coefficient est mis à jour à son tour par un seuillage doux S(z, λ) = signe(z)·max(|z| − λ, 0).
Même problème à deux variables qu'à la planche 2 : losange rouge et trajectoire du lasso (bleu), qui longe un axe dès qu'un coefficient s'annule.
Chemin des 8 coefficients d'un problème médical simulé (seules l'IMC, la tension et la glycémie influencent vraiment la réponse) en fonction de λ, échelle logarithmique. Trait rouge : le λ choisi.
Coefficients non nuls—
Variables retenues—
Conditions d'optimalité (KKT) : plus grand écart—
λ au-delà duquel tout est nul : max|xⱼᵀy|/n—
À retenir. Le lasso fait à la fois l'estimation et le choix des variables : quand λ décroît, les variables entrent une à une, les plus utiles d'abord. Ridge, lui, garde toutes les variables avec des coefficients jamais nuls. Les conditions d'optimalité vérifiées ici disent qu'à la solution, chaque variable retenue a une corrélation avec le résidu égale à ±λ, et chaque variable écartée une corrélation plus petite que λ.
4
PLS : des composantes tournées vers la réponse
Une autre façon de stabiliser consiste à remplacer les p variables par quelques composantes. La régression sur composantes principales (PCR) prend les directions de plus grande variance de X, sans regarder y. La PLS choisit à chaque étape la direction w qui maximise la covariance entre Xw et y (première direction : w ∝ Xᵀy), puis recommence sur ce qui n'est pas encore expliqué.
Deux variables, nuage allongé, points coloriés selon y (bleu faible, rouge fort). Flèches : première composante principale (gris), première direction PLS (vert), direction des MCO (orange).
R² avec une composante principale—
R² avec une composante PLS—
R² des MCO (deux variables)—
40 variables corrélées, 50 observations d'apprentissage : erreur de prédiction sur 2 000 observations nouvelles selon le nombre de composantes, PLS (vert) et PCR (gris). Pointillé : les MCO.
Meilleure PLS : composantes / erreur—
Meilleure PCR : composantes / erreur—
MCO : erreur—
PLS à 40 composantes contre MCO : écart des coefficients—
À retenir. Si la réponse dépend d'une direction de faible variance, la PCR la néglige et rate tout avec peu de composantes ; la PLS la trouve, car elle regarde y. Sur l'exemple à 40 variables, la PLS approche son meilleur résultat dès 3 composantes, là où la PCR en demande 5 ; au-delà, trop de composantes font remonter l'erreur, comme trop peu de pénalité. Avec autant de composantes que de variables, PLS et PCR redonnent exactement les moindres carrés : le nombre de composantes joue le rôle de λ.
5
Choisir le réglage, et trois applications
λ ou le nombre de composantes se choisissent par validation croisée : on partage les données en 10 parts, on apprend sur 9, on prédit la dixième, et l'on fait tourner. Puis trois domaines où ces méthodes sont devenues la norme.
60 patients, 40 variables (par exemple des dosages biologiques), dont 6 seulement agissent sur la réponse. On compare les méthodes sur 2 000 patients nouveaux, jamais vus pendant l'apprentissage.
Lasso : erreur de validation croisée (bleu, avec ± un écart-type) et vraie erreur sur données nouvelles (rouge) selon log₁₀ λ. Pointillés : λ minimisant la validation croisée, et λ « à un écart-type » (plus simple, presque aussi bon).
Variables du lasso (λ à un écart-type)—
Vraies variables retrouvées—
Prédire la teneur d'un produit (par exemple le taux de protéines d'un blé) à partir de son spectre d'absorption proche infrarouge : 120 longueurs d'onde très corrélées, 40 échantillons seulement. C'est le domaine historique de la PLS, en chimiométrie.
Les 40 spectres, coloriés selon la teneur (bleu faible, rouge forte). Bandes : le composé recherché absorbe vers l'indice 40, deux autres composés gênants vers 50 et 85.
Coefficients de régression le long du spectre, chacun ramené à son maximum : PLS (vert), ridge (bleu, souvent presque confondu avec la PLS), lasso (rouge, quelques longueurs d'onde seulement).
Erreur de prédiction PLS—
Erreur ridge (λ par validation croisée)—
Erreur lasso (λ par validation croisée)—
Longueurs d'onde retenues par le lasso—
Trois variables quasi identiques (corrélation 0,99) portent toutes le même signal ; cinq autres sont du bruit. On refait l'analyse sur 100 rééchantillons. Le lasso n'en garde souvent qu'une ou deux, différentes d'une fois à l'autre, avec des coefficients très instables ; l'elastic net (Zou et Hastie, 2005), qui mélange les pénalités du lasso (part α) et de ridge (part 1 − α), garde le groupe entier.
Fréquence de sélection de chaque variable sur 100 rééchantillons (λ fixé par validation croisée sur l'échantillon complet). Vert : les trois variables jumelles ; gris : le bruit.
Écart-type de ces coefficients d’un rééchantillon à l’autre—
À retenir. Aucune méthode ne gagne partout : le lasso excelle quand peu de variables comptent (génomique, sélection de marqueurs), ridge et PLS quand beaucoup de variables corrélées portent chacune un peu d'information (spectroscopie, chimiométrie, données de capteurs), l'elastic net quand les variables utiles vont par groupes. Dans tous les cas, c'est la validation croisée qui règle le curseur, et c'est sur des données nouvelles qu'on juge.
Repères historiques
1805–1809 — Legendre puis Gauss : la méthode des moindres carrés.
1943 — Andreï Tikhonov régularise les problèmes inverses mal posés en pénalisant la norme de la solution, l'ancêtre de ridge.
1966 — Herman Wold propose l'algorithme NIPALS, base de la régression PLS.
1970 — Arthur Hoerl et Robert Kennard publient la régression ridge et montrent qu'un λ positif bat toujours les moindres carrés.
1974 — Mervyn Stone formalise la validation croisée pour choisir un modèle.
1983 — Svante Wold, Harald Martens et Herman Wold appliquent la PLS à la chimie : naissance de la chimiométrie moderne.
1996 — Robert Tibshirani propose le lasso (least absolute shrinkage and selection operator).
2004 — Efron, Hastie, Johnstone et Tibshirani : l'algorithme LARS calcule tout le chemin du lasso.
2005 — Hui Zou et Trevor Hastie : l'elastic net.
2010 — Friedman, Hastie et Tibshirani : la descente coordonnée (logiciel glmnet), utilisée dans cette page.
Synthèse
Ridge
Pénalité Σβ² : tous les coefficients rétrécis, surtout dans les directions mal mesurées. Solution explicite, toujours stable, ne sélectionne pas.
Lasso
Pénalité Σ|β| : rétrécit et annule. Sélectionne les variables, mais choisit au hasard dans un groupe de variables corrélées ; l'elastic net corrige ce défaut.
PLS
Quelques composantes de covariance maximale avec y. Idéale quand les variables sont nombreuses et très corrélées (spectres, capteurs). Le nombre de composantes est le réglage.
Pour aller plus loin
Le cas orthogonal éclaire tout. Si les colonnes de X sont orthogonales et réduites, les MCO donnent β̂j = xjᵀy/n, ridge les divise par (1 + λ), et le lasso les seuille : S(β̂j, λ). Ridge rétrécit proportionnellement, le lasso retranche une quantité fixe et coupe ce qui passe sous zéro.
Lecture bayésienne. Ridge est l'estimation la plus probable a posteriori avec un a priori normal sur les β ; le lasso, avec un a priori de Laplace, plus pointu en zéro.
Pourquoi réduire les variables. Les pénalités traitent tous les coefficients de la même façon : il faut donc que les variables soient sur la même échelle, d'où le centrage-réduction préalable (voir la page sur les tableaux de données et les distances).
PLS et gradient conjugué. Les directions de la PLS sont celles qu'explore la méthode du gradient conjugué appliquée aux équations normales ; c'est pourquoi la PLS à p composantes redonne les moindres carrés.
Liens avec les autres pages. Régression linéaire simple, maximum de vraisemblance, ACP, validation et bootstrap ont leurs propres pages dans la série.