Le maximum de vraisemblance et ses applications
Choisir la valeur du paramètre qui rend les données observées les plus probables — l’idée la plus féconde de la statistique, ses calculs, ses usages et ses pièges.
L’idée en une phrase. On a observé des données x₁, …, xₙ, et l’on hésite sur la valeur d’un paramètre θ. Pour chaque valeur possible de θ, on calcule la probabilité (ou la densité) d’obtenir exactement ces données : c’est la vraisemblance L(θ). On retient la valeur θ̂ qui la rend maximale, celle sous laquelle ce qu’on a vu était le moins surprenant.
En pratique, on maximise plutôt le logarithme de la vraisemblance, ℓ(θ) = Σ ln f(xᵢ ; θ), qui transforme le produit en somme. Au sommet, sa dérivée (le score) s’annule, et sa courbure mesure la précision de l’estimation : plus le sommet est pointu, plus θ est bien déterminé.
| Étape | Ce qu’on fait | Planche |
|---|---|---|
| Écrire la vraisemblance | le produit des probabilités des observations, vu comme fonction de θ | 1 |
| La maximiser | par une formule quand elle existe, sinon par un algorithme (Newton, EM) | 2, 3, 4 |
| Mesurer la précision | par la courbure au sommet (information de Fisher) ou par un intervalle de vraisemblance | 1, 3 |
| Connaître ses limites | propriétés garanties quand n est grand, mais échecs possibles | 5 |
L’idée : quelle pièce a produit ces lancers ?
Une pièce, peut-être truquée, tombe sur pile avec une probabilité p inconnue. On la lance n fois et l’on obtient k piles. La vraisemblance de chaque valeur de p est L(p) = pᵏ(1 − p)ⁿ⁻ᵏ : elle est maximale en p̂ = k/n, la fréquence observée. Regardez la courbe se resserrer à mesure que les lancers s’accumulent. On en tire aussi un intervalle de vraisemblance : les valeurs de p dont la vraisemblance atteint au moins 14,7 % de la valeur maximale (le seuil e^(−1,92) correspond à 95 % de confiance, par le théorème de Wilks de la planche 5).
Quand la formule manque : la méthode de Newton
La loi gamma décrit des durées, des montants, des précipitations. Elle a un paramètre de forme α, et l’équation du maximum de vraisemblance, ln α − ψ(α) = ln x̄ − moyenne(ln xᵢ), n’a pas de solution explicite (ψ est la fonction digamma). On la résout par la méthode de Newton : partir d’une valeur, remplacer la courbe par sa tangente, prendre le point où la tangente s’annule, recommencer. La convergence est fulgurante. On compare ensuite au vieil estimateur des moments, α̃ = x̄²/s², plus simple mais moins précis.
Une application reine : la régression logistique
Comment la probabilité de réussir un examen dépend-elle des heures de révision ? On modélise P(réussite) = 1/(1 + e^(−(β₀ + β₁h))) et l’on estime β₀ et β₁ par maximum de vraisemblance, sur des données fictives de 60 étudiants. Il n’y a pas de formule : on applique la méthode de Newton en deux dimensions, guidée par la pente et la courbure de la log-vraisemblance. La même méthode sert en médecine (facteurs de risque), en assurance, en apprentissage automatique.
Deux usages délicats : les données censurées et les mélanges
On suit 100 appareils pendant une durée C pour estimer leur durée de vie moyenne (ici 10 ans, inconnue de l’observateur). À la fin de l’étude, beaucoup fonctionnent encore : on sait seulement que leur durée dépasse C. Ces observations censurées ne doivent pas être jetées. La vraisemblance les prend en compte naturellement : un appareil tombé en panne au temps t apporte la densité λe^(−λt), un appareil encore en marche apporte la probabilité e^(−λC). Le maximum est λ̂ = (nombre de pannes)/(temps total d’observation).
Des longueurs de poissons proviennent de deux classes d’âge mélangées, sans qu’on sache à quelle classe appartient chaque poisson. Le modèle a cinq paramètres (proportion, deux moyennes, deux écarts-types) et sa vraisemblance n’a pas de maximum explicite. L’algorithme EM (Dempster, Laird et Rubin, 1977) alterne deux étapes : estimer, pour chaque poisson, la probabilité qu’il appartienne à chaque classe (étape E), puis recalculer les paramètres comme si ces probabilités étaient des poids connus (étape M). La log-vraisemblance augmente à chaque tour.
Signature — triomphes et pièges du maximum de vraisemblance
Quand n est grand et le modèle régulier, le maximum de vraisemblance est presque sans biais, de loi normale et de variance minimale ; et le rapport des vraisemblances obéit à une loi universelle (Wilks, 1938). Mais ces garanties ont des conditions. Deux exemples célèbres montrent ce qui arrive quand elles manquent : trop de paramètres, ou une vraisemblance qui n’a pas de maximum.
On estime le taux λ d’une loi exponentielle (λ̂ = 1/x̄) sur 4 000 échantillons de taille n. Les estimations, centrées et divisées par leur écart-type théorique λ/√n, doivent suivre la loi normale ; et la statistique −2 ln Λ = 2[ℓ(λ̂) − ℓ(λ)] doit suivre la loi du khi-deux à 1 degré de liberté, quelle que soit la loi de départ.
Neyman et Scott (1948) : on mesure deux fois chacun de n objets différents, avec un instrument d’erreur σ. Chaque objet a sa propre vraie valeur μᵢ, inconnue : le nombre de paramètres grandit avec les données. Le maximum de vraisemblance de σ² vaut alors Σ(xᵢ₁ − xᵢ₂)²/(4n), et il converge vers σ²/2 au lieu de σ² — même avec un million d’objets.
Pour un mélange de deux lois normales, placez la moyenne de la seconde composante exactement sur une donnée et faites tendre son écart-type vers 0 : la densité en ce point devient infinie, et la vraisemblance avec elle. Le « maximum » global est une absurdité (une composante réduite à un seul point). Le bon estimateur est un maximum local, celui que trouve l’algorithme EM s’il part d’un point raisonnable.
Repères historiques
- 1778Daniel Bernoulli propose de choisir, parmi les valeurs possibles d’une mesure, celle qui rend les observations les plus probables.
- 1809Carl Friedrich Gauss obtient la loi normale en cherchant la loi d’erreur pour laquelle la moyenne arithmétique est la valeur la plus probable.
- 1912Ronald Fisher publie son « critère absolu », première forme du maximum de vraisemblance.
- 1922Fisher nomme la vraisemblance (likelihood) et pose la théorie : consistance, efficacité, information.
- 1938Samuel Wilks établit la loi asymptotique du rapport des vraisemblances.
- 1944Joseph Berkson introduit le modèle logit ; David Cox développe la régression logistique en 1958.
- 1948Jerzy Neyman et Elizabeth Scott publient leur contre-exemple.
- 1977Arthur Dempster, Nan Laird et Donald Rubin formalisent l’algorithme EM.
Ce qu’il faut retenir
Le principe
Choisir le paramètre qui rend les données observées les plus probables. On maximise la log-vraisemblance : somme de logarithmes, dérivée nulle au sommet.Le calcul
Formule explicite dans les cas simples (fréquence, censure) ; sinon méthode de Newton ou algorithme EM. La courbure au sommet donne la précision.Les garanties et leurs limites
Pour n grand et un modèle régulier : convergent, normal, efficace, et Wilks donne des intervalles. Mais attention aux modèles à trop de paramètres et aux vraisemblances non bornées.Pour aller plus loin
Invariance. Si θ̂ est le maximum de vraisemblance de θ, alors g(θ̂) est celui de g(θ). Ainsi, la durée de vie moyenne estimée vaut 1/λ̂.
Normalité asymptotique. √n(θ̂ − θ) tend vers une loi normale de variance 1/I(θ), où I est l’information de Fisher d’une observation : I(θ) = −E[ℓ″(θ)] pour une observation.
Lien avec les moindres carrés. Pour des erreurs normales de même variance, maximiser la vraisemblance revient exactement à minimiser la somme des carrés des écarts : la méthode de Legendre et Gauss est un cas particulier.