Statistique

La régression logistique

Guéri ou non, défaillant ou non, admis ou refusé : quand la grandeur à expliquer ne vaut que 0 ou 1, une droite ne convient plus. La régression logistique modélise la probabilité de l'événement par une courbe en S, estimée par maximum de vraisemblance. Cette page la construit pas à pas, jusqu'à la nuit du 27 janvier 1986.

Le modèle

Chaque individu i a une valeur xᵢ (une dose, une température, un nombre d'heures de révision) et une réponse yᵢ égale à 1 si l'événement se produit, 0 sinon. On cherche p(x), la probabilité que y vaille 1 pour une valeur x donnée. Le modèle logistique pose :

p(x) = 1 / (1 + e−(β₀ + β₁x))    ⇔    ln[ p / (1 − p) ] = β₀ + β₁x

La fonction de gauche, la fonction logistique, transforme n'importe quel nombre réel en une probabilité comprise entre 0 et 1, en dessinant un S. L'écriture de droite dit la même chose autrement : le logarithme de la cote (le logit) est une fonction affine de x. C'est donc une régression linéaire, mais sur une échelle transformée, et les données n'y apparaissent pas directement : on ajuste par maximum de vraisemblance, pas par moindres carrés.

1

Pourquoi une courbe en S plutôt qu'une droite

Idée en une phrase : une probabilité ne peut pas dépasser 1 ni descendre sous 0, alors qu'une droite le fait toujours ; la courbe logistique, elle, s'aplatit aux deux bouts.

Exemple : 40 élèves, le nombre d'heures de révision x et la réussite à l'examen y (1 = reçu, 0 = refusé). Les points sont empilés en haut (reçus) et en bas (refusés). Les losanges verts donnent la proportion de reçus par tranche d'heures : c'est ce que la courbe doit suivre. La droite des moindres carrés (pointillé orange) sort de l'intervalle [0 ; 1]. Réglez la courbe logistique à la main avec ses deux paramètres, puis comparez à l'ajustement optimal.

Points : élèves (en haut reçus, en bas refusés, légèrement décalés pour être visibles). Losanges verts : proportion de reçus par tranche. Bleu : courbe logistique réglée par les curseurs ; pointillé gris : courbe du maximum de vraisemblance ; pointillé orange : droite des moindres carrés.
Log-vraisemblance de la courbe réglée
Log-vraisemblance maximale
Point d'équilibre p = ½
x = −β₀/β₁
La droite des moindres carrés
Lire les deux paramètres. La courbe passe par p = ½ en x = −β₀/β₁ : changer β₀ la fait glisser. β₁ règle la raideur : la pente au point milieu vaut β₁/4. Si β₁ est négatif, le S se retourne (la probabilité diminue quand x augmente) ; si β₁ = 0, la probabilité ne dépend plus de x. La log-vraisemblance mesure l'accord entre la courbe et les données : c'est elle que l'on rend maximale, et elle est toujours négative, car c'est une somme de logarithmes de probabilités.
2

Probabilité, cote, logit : trois échelles pour la même chose

Idée en une phrase : la cote p/(1 − p) est la façon des parieurs de dire une probabilité, et son logarithme est l'échelle où le modèle devient une droite ; chaque unité de x y multiplie la cote par eβ₁.

Une probabilité de 0,8 correspond à une cote de 0,8/0,2 = 4 (« 4 contre 1 ») et à un logit de ln 4 ≈ 1,386. Les trois échelles sont tracées ci-dessous, reliées par des traits. Sur l'échelle des probabilités, les valeurs proches de 0 et de 1 sont écrasées ; sur celle des logits, elles s'étendent à l'infini. Dans le modèle, ajouter une unité à x ajoute β₁ au logit, donc multiplie la cote par eβ₁ : c'est le rapport des cotes (odds ratio). Mais l'effet sur la probabilité, lui, dépend de l'endroit où l'on se trouve sur le S.

Trois axes : probabilité p (haut), cote p/(1 − p) en échelle logarithmique (milieu), logit (bas). Le point rouge est la valeur choisie ; le point bleu, la même valeur après une unité de plus en x.
Cote et logit de départ
Rapport des cotes eβ₁
Nouvelle probabilité
Contrôle : cote × eβ₁ → probabilité
Un même rapport des cotes, des effets très différents. Avec eβ₁ ≈ 2, la cote double à chaque unité de x. Partant de p = 0,2, la probabilité passe à 0,33 ; partant de p = 0,5, elle passe à 0,67 ; partant de 0,95, elle ne gagne que 2,5 points. Quand l'événement est rare, la cote et la probabilité se confondent presque, et le rapport des cotes se lit comme un « risque multiplié par ». Ce n'est plus vrai quand l'événement est fréquent : c'est une source classique de contresens dans la presse médicale.
3

L'estimation : maximum de vraisemblance et moindres carrés repondérés

Idée en une phrase : il n'existe pas de formule fermée, mais l'algorithme de Newton, réinterprété comme une suite de régressions linéaires pondérées, atteint le maximum en quelques itérations.

La vraisemblance est le produit, sur tous les individus, de la probabilité que le modèle donne à ce qui a été observé : p(xᵢ) si yᵢ = 1, 1 − p(xᵢ) sinon. Son logarithme est une surface en forme de dôme dans le plan (β₀, β₁), sans aucun creux secondaire. L'algorithme IRLS (moindres carrés itérativement repondérés) part de β = 0, calcule pour chaque individu un poids pᵢ(1 − pᵢ) et une « réponse de travail », fait une régression pondérée, et recommence. Les poids sont maximaux là où la courbe hésite (p proche de ½) : ce sont les individus les plus informatifs.

Lignes de niveau de la log-vraisemblance dans le plan (β₀, β₁) et trajet des itérations de Newton-IRLS (points numérotés). Croix verte : le maximum.
La courbe de l'itération courante et les poids pᵢ(1 − pᵢ) des élèves (hauteur des barres violettes).
Équations de vraisemblance au maximum
Σ(yᵢ − p̂ᵢ) et Σxᵢ(yᵢ − p̂ᵢ) doivent être nulles
Reçus observés et attendus
Test de Wald sur β₁
Test du rapport de vraisemblance
Doubler les chiffres justes à chaque pas. Près du maximum, Newton converge de façon quadratique : l'écart au maximum est à peu près élevé au carré à chaque itération, et le nombre de décimales exactes double (colonne de droite du tableau). Au maximum, le total des probabilités ajustées est exactement égal au nombre de reçus observés : la régression logistique est « calibrée en moyenne ». La courbure du dôme au sommet donne les erreurs-types : plus le dôme est pointu, plus les coefficients sont précis.
4

Classer et évaluer : seuil, matrice de confusion, courbe ROC

Idée en une phrase : pour décider, on fixe un seuil sur la probabilité prédite ; chaque seuil échange des faux positifs contre des faux négatifs, et la courbe ROC les montre tous à la fois.

On simule 200 individus de deux classes (malades et sains, par exemple) dont une mesure x se recouvre plus ou moins. Le modèle logistique est ajusté, puis on déclare « positif » tout individu dont la probabilité prédite dépasse le seuil. La sensibilité est la part des vrais positifs détectés ; la spécificité, la part des vrais négatifs reconnus. La courbe ROC trace la sensibilité contre 1 − spécificité pour tous les seuils ; l'aire sous cette courbe (AUC) est la probabilité qu'un positif tiré au hasard reçoive une probabilité plus haute qu'un négatif tiré au hasard.

Les deux classes (rouge : positifs, bleu : négatifs), la courbe logistique ajustée et le seuil (trait horizontal) ; le trait vertical est la valeur de x correspondante.
Courbe ROC ; le point marque le seuil courant. La diagonale correspond à un classement au hasard.
Sensibilité
Spécificité
AUC (aire sous la courbe ROC)
Taux de bonnes décisions
Il n'y a pas de bon seuil universel. Baisser le seuil détecte plus de positifs au prix de fausses alertes ; le monter fait l'inverse. Le choix dépend du coût de chaque erreur : manquer une maladie grave coûte plus qu'un examen de contrôle inutile. Quand les positifs sont rares, un modèle peut afficher un excellent taux de bonnes décisions en déclarant tout le monde négatif : l'AUC, qui ne dépend pas du seuil, et la sensibilité ne se laissent pas tromper. Ici, l'AUC est calculée par la méthode des trapèzes et contrôlée par la statistique de Mann-Whitney.
5

Challenger : la régression qui n'a pas été faite

Idée en une phrase : la veille du lancement, les ingénieurs ne regardèrent que les vols ayant eu des incidents ; avec les 23 vols et une régression logistique, une température de −0,6 °C donnait une probabilité d'incident presque certaine.

Le 28 janvier 1986, la navette Challenger explose 73 secondes après son décollage : un joint torique d'un propulseur, rigidifié par le froid, n'a pas fait étanchéité. La veille, lors d'une téléconférence, les ingénieurs du fabricant s'inquiètent de la température prévue, 31 °F (−0,6 °C), bien plus basse que tous les vols précédents (le plus froid : 53 °F, soit 11,7 °C). Ils présentent les vols ayant connu des incidents de joints, qui semblent répartis à toutes les températures. Il manquait les vols sans incident, tous à des températures élevées. Dalal, Fowlkes et Hoadley (1989) ont repris les 23 vols précédents avec une régression logistique.

Les 23 vols : incident sur au moins un joint (rouge, en haut) ou aucun (bleu, en bas), selon la température au lancement. Courbe : modèle logistique ajusté ; faisceau gris : courbes de rééchantillonnage (bootstrap) ; trait pointillé : 31 °F.
Ce que les ingénieurs ont regardé (seulement les 7 vols avec incident, en haut) et ce qu'ils auraient dû regarder (les 23 vols). Le bouton bascule entre les deux vues.
Coefficients estimés
Rapport des cotes par degré °F en moins
Probabilité d'incident à 31 °F
Rapport de vraisemblance (température utile ?)
Une extrapolation, mais pas un hasard. Le modèle prévoit une probabilité d'incident supérieure à 99,9 % à 31 °F. Il s'agit d'une extrapolation loin des données, et le faisceau bootstrap montre combien la courbe est incertaine entre 31 et 53 °F ; mais toutes ses courbes ou presque donnent une probabilité très élevée. La température est significativement liée aux incidents (rapport de vraisemblance, p ≈ 0,005). La leçon de la commission Rogers tient en une phrase : les données qui manquaient étaient celles où rien ne s'était passé.

Si une valeur de x sépare parfaitement les deux classes (tous les 0 d'un côté, tous les 1 de l'autre), la vraisemblance peut toujours être augmentée en rendant le S plus raide : le maximum n'existe pas. Les itérations de Newton font alors grandir β₁ sans fin, la log-vraisemblance s'approche de 0 sans l'atteindre, et les erreurs-types explosent. Le curseur fait glisser un seul point pour créer ou détruire la séparation.

Les données (le point orange se déplace) et la courbe obtenue après 25 itérations de Newton.
Valeur de β₁ au fil des itérations : elle se stabilise s'il y a recouvrement, elle croît sans fin s'il y a séparation.
Situation
β₁ après 25 itérations
Log-vraisemblance après 25 itérations
Un modèle trop parfait. La séparation n'est pas une victoire : elle signifie que les données ne permettent pas d'estimer l'effet, seulement de dire qu'il est grand. Les logiciels affichent alors des coefficients énormes et des avertissements. On y remédie par une pénalisation (correction de Firth, régularisation), ou en recueillant plus de données près de la frontière.

Repères historiques

Le modèle

logit p = β₀ + β₁x. Une unité de x multiplie la cote par eβ₁ ; l'effet sur la probabilité dépend de l'endroit sur la courbe.

L'estimation

Maximum de vraisemblance par Newton-IRLS ; tests de Wald ou du rapport de vraisemblance ; attention aux données séparées.

L'usage

Prédire une probabilité, puis décider avec un seuil adapté aux coûts ; évaluer par la sensibilité, la spécificité et l'AUC, jamais par le seul taux de bonnes réponses.

Pour aller plus loin

Plusieurs variables. logit p = β₀ + β₁x₁ + … + βkxk ; chaque eβj est un rapport des cotes « à autres variables fixées ». L'algorithme IRLS reste le même, en matrices.

Pourquoi la fonction logistique. C'est la fonction de lien canonique de la loi de Bernoulli : avec elle, les équations de vraisemblance ont la forme simple Σxᵢ(yᵢ − p̂ᵢ) = 0. Le modèle probit, qui utilise la fonction de répartition normale, donne des courbes très voisines.

Études cas-témoins. Quand on recrute séparément des malades et des témoins, la proportion de malades n'a plus de sens, mais le rapport des cotes estimé par la régression logistique reste valable : c'est pourquoi elle domine en épidémiologie.

Déviance. D = −2 × log-vraisemblance. La différence de déviance entre deux modèles emboîtés suit approximativement une loi du χ², ce qui fonde le test du rapport de vraisemblance.