Analyse des données

Robustesse et validation de l'analyse des données

Une ACP, une classification, une sélection de variables produisent toujours un résultat, et ce résultat est toujours joli. Reste à savoir s'il tient : résiste-t-il à quelques données aberrantes ? Serait-il le même avec un autre échantillon ? Dépasse-t-il ce que le hasard seul aurait dessiné ? Cette page montre les outils qui répondent à ces trois questions.

Deux mots, deux questions

Une méthode est robuste si une petite partie des données, même très fausse (erreur de saisie, individu hors norme), ne peut pas changer beaucoup le résultat. La moyenne n'est pas robuste : une seule valeur aberrante peut l'emmener n'importe où. La médiane l'est : il faut corrompre la moitié des données pour la déplacer à volonté.

Un résultat est validé s'il résiste à trois épreuves : la stabilité (refaire l'analyse sur des échantillons voisins, par rééchantillonnage, donne-t-il la même chose ?), la comparaison au hasard (des données sans aucune structure produiraient-elles un résultat aussi frappant ?) et la prédiction (le modèle fonctionne-t-il sur des données qu'il n'a pas vues ?). Toutes les données de la page sont simulées : on connaît donc la vérité.

Un seul point peut tout changer

Quarante individus forment un nuage allongé, incliné à 30°. Un quarante et unième (rouge) est une erreur de saisie : faites-le glisser. L'ACP classique, fondée sur la moyenne et la matrice de covariance, se laisse entraîner. L'estimateur MCD (déterminant de covariance minimal, Rousseeuw 1984) cherche plutôt les 75 % de points les plus resserrés, et calcule moyenne et covariance sur eux seuls.

Ellipses à 97,5 % : classique (orange) et robuste MCD (bleu). Traits épais : le premier axe de chaque ACP. Points cerclés de bleu : ceux que le MCD juge aberrants (distance robuste au-delà du seuil du χ² à 2 degrés de liberté).

Vraie direction du nuage30,0°

Premier axe, ACP classique—

Premier axe, ACP robuste (MCD)—

Contribution de l'aberrant (rouge) à l'axe 1 classique—

Points signalés par le MCD—

Points signalés par la distance classique—

Distance de chaque individu au centre : classique (orange) contre robuste (bleu), avec le seuil (pointillé). Avec le groupe de six, les aberrants « se cachent » dans la distance classique, car ils gonflent eux-mêmes la covariance qui sert à les mesurer : c'est l'effet de masque.

À retenir. En ACP, un individu très excentré peut, à lui seul, porter une grande part de l'inertie d'un axe : il faut toujours regarder les contributions. L'approche robuste inverse la logique : on estime la structure sur le cœur des données, puis on mesure chacun par rapport à elle. Les aberrants se voient alors, au lieu de déformer la structure qui devait les révéler. On peut ensuite les traiter en éléments supplémentaires.

Le point de rupture

Combien de données faut-il corrompre pour emmener un estimateur n'importe où ? Cette proportion s'appelle le point de rupture (Hampel, 1971). On remplace une part ε de 200 points par un paquet d'erreurs placées loin, puis on regarde où se trouve le « centre » estimé.

Part ε de données corrompues20 %

Bons points (gris) et corrompus (rouge). Croix : moyenne (orange), médiane coordonnée par coordonnée (violet), centre MCD (bleu). La vérité est l'origine (cercle vert).

Distance entre le centre estimé et la vérité, selon la part de corruption (moyenne de 4 tirages). La moyenne suit les erreurs dès le premier point (et sans limite si on les éloigne) ; la médiane se décale peu à peu ; le MCD ne bouge pas jusque vers 45 %, puis bascule d'un coup.

Erreur de la moyenne—

Erreur de la médiane—

Erreur du centre MCD—

À retenir. Le point de rupture de la moyenne et de la covariance classique est 1/n : un seul point suffit. Celui de la médiane et du MCD (avec la moitié des points) approche 50 %, le maximum possible, car au-delà on ne sait plus quelle partie des données est « la bonne ». Mais la robustesse a un prix : avec des données propres, la médiane est un peu moins précise que la moyenne. On utilise donc souvent les deux, et l'on s'inquiète quand elles divergent.

Les axes sont-ils stables ?

On rééchantillonne 200 fois les 60 individus (tirage avec remise, le bootstrap), on refait chaque fois l'ACP normée de 4 variables, et l'on superpose les résultats sur le cercle des corrélations. Le réglage contrôle l'écart entre les deux premières valeurs propres de la population.

Écart entre les deux premiers facteurs0,10

Cercle des corrélations : flèches de l'échantillon, et les 200 positions bootstrap de chaque variable (nuages de points de même couleur).

Distribution bootstrap de l'angle entre l'axe 1 rééchantillonné et l'axe 1 d'origine (bleu), et entre le plan 1-2 rééchantillonné et le plan d'origine (vert).

λ₁ / λ₂ de l'échantillon—

Intervalle bootstrap à 90 % pour la part de l'axe 1—

Rééchantillons où les axes 1 et 2 s'échangent—

Angle médian du plan 1-2 avec le plan d'origine—

À retenir. Quand deux valeurs propres sont proches, les axes correspondants ne sont pas déterminés séparément : d'un échantillon à l'autre, ils tournent dans leur plan, s'échangent, et l'interprétation axe par axe devient fragile. Le plan, lui, reste stable : il faut alors interpréter le plan 1-2 comme un tout. Le bootstrap rend visible cette fragilité, que l'ACP d'un seul échantillon ne laisse jamais soupçonner.

Mieux que le hasard ? L'analyse parallèle

Même des variables totalement indépendantes donnent une ACP avec des valeurs propres inégales : sur un échantillon fini, le hasard crée toujours de petites corrélations. L'analyse parallèle de Horn (1965) mélange au hasard chaque colonne séparément, ce qui détruit les liaisons tout en gardant les distributions, refait l'ACP, et recommence 100 fois. On ne garde que les axes qui dépassent nettement ce que donne le hasard.

Nombre d'individus n60

Vrais facteurs dans les données2

Valeurs propres observées (bleu) ; moyenne (gris) et 95ᵉ centile (rouge) des valeurs propres après mélange ; pointillé : la règle de Kaiser (λ > 1).

Axes retenus par la règle de Kaiser—

Axes retenus par l'analyse parallèle—

Vrai nombre de facteurs—

Première valeur propre du hasard (moyenne) / limite théorique (1 + √(p/n))²—

La limite théorique vient de la loi de Marchenko et Pastur (1967) : pour des données sans structure, la plus grande valeur propre de la matrice des corrélations tend vers (1 + √(p/n))² quand n et p grandissent ensemble.

À retenir. Avec peu d'individus, la règle « garder les valeurs propres supérieures à 1 » retient des axes de pur bruit, puisque le hasard seul dépasse 1. L'analyse parallèle compare chaque valeur propre à celle que produirait le hasard au même rang ; elle retrouve le bon nombre d'axes, sauf quand l'échantillon est trop petit pour distinguer un vrai facteur faible du bruit.

Valider honnêtement : trois épreuves

Trois situations où l'on croit souvent avoir un résultat, et comment le vérifier : des classes stables, une prédiction qui ne triche pas, des trous dans le tableau.

Pour chaque nombre de classes k, on tire 30 paires de sous-échantillons (80 % des individus chacun), on classe chacun par les k-moyennes, et l'on compare les deux classements sur les individus communs avec l'indice de Rand ajusté. Un bon k donne des classes qui se retrouvent d'un sous-échantillon à l'autre (Ben-Hur, Elisseeff et Guyon, 2002).

Nombre de classes affiché4

Les 200 individus classés par les k-moyennes pour le k choisi (meilleur de 10 départs).

Stabilité moyenne (indice de Rand ajusté entre sous-échantillons) selon k, avec l'étendue des 30 comparaisons.

k le plus stable—

Stabilité pour le k affiché—

Vrai nombre de groupes4

50 patients, deux groupes de 25 tirés au hasard, et 500 variables de pur bruit : il n'y a rien à prédire, l'erreur honnête est de 50 %. Méthode fautive : choisir d'abord, sur toutes les données, les variables les plus différentes entre les groupes, puis mesurer l'erreur par validation croisée. Méthode honnête : refaire le choix des variables à l'intérieur de chaque pli, sans regarder le pli de test.

Variables retenues20

Erreur de classement estimée par validation croisée à 5 plis, sur 20 jeux de données : sélection hors validation (rouge) et dans la validation (vert). Pointillé : la vraie erreur, 50 %.

Erreur annoncée, sélection faite avant—

Erreur annoncée, sélection dans chaque pli—

Vraie erreur (aucun signal)50 %

Cette erreur a été repérée dans des études publiées de génomique (Ambroise et McLachlan, 2002) : des taux d'erreur proches de zéro, obtenus sur du bruit. Toute étape qui regarde les données (choix des variables, réglage d'un paramètre, élimination d'aberrants) doit être refaite à l'intérieur de la validation.

On efface au hasard une part des cases d'un tableau de 100 individus et 6 variables liées entre elles. Imputer par la moyenne de la colonne ignore ces liaisons ; l'ACP itérative les utilise : on remplit les trous par les moyennes, on fait une ACP à deux axes, on remplace les trous par la reconstitution (légèrement rétrécie vers la moyenne pour ne pas surajuster), et l'on recommence jusqu'à stabilité (méthode de Kiers 1997, version régularisée de Josse et Husson).

Part de cases manquantes20 %

Variables 1 et 2 : cases connues (gris), cases imputées par la moyenne (orange) et par l'ACP itérative (bleu), reliées à la vraie valeur cachée (cercle vert).

Erreur d'imputation au fil des itérations de l'ACP (bleu) ; pointillé orange : l'imputation par la moyenne.

Erreur, imputation par la moyenne—

Erreur, ACP itérative—

Itérations jusqu'à stabilité—

Corrélation entre variables 1 et 2 : vraie / après moyenne / après ACP—

À retenir. Valider, c'est se demander : « qu'aurait donné la même démarche sur d'autres données ? ». La stabilité par sous-échantillonnage choisit le nombre de classes, la validation croisée honnête refait toute la chaîne dans chaque pli, et l'imputation par ACP respecte bien mieux les liaisons que l'imputation par la moyenne, qui les affaiblit (la corrélation entre les variables 1 et 2 tombe de 0,74 à 0,61), même si elle les exagère un peu. Dans les trois cas, une démarche paresseuse produit un résultat plus beau, et faux.

Repères historiques

1852 — Benjamin Peirce propose le premier critère pour rejeter des observations aberrantes en astronomie.
1949–1956 — Maurice Quenouille puis John Tukey : le jackknife, qui recalcule un estimateur en retirant un individu à la fois.
1964 — Peter Huber fonde la statistique robuste moderne (M-estimateurs).
1965 — John Horn propose l'analyse parallèle pour choisir le nombre de facteurs.
1967 — Vladimir Marchenko et Leonid Pastur décrivent les valeurs propres de grandes matrices aléatoires.
1971 — Frank Hampel définit le point de rupture et la fonction d'influence.
1974 — Mervyn Stone et Seymour Geisser formalisent la validation croisée.
1979 — Bradley Efron publie le bootstrap.
1984–1999 — Peter Rousseeuw : le MCD (1984), puis l'algorithme FAST-MCD avec Van Driessen (1999).
2002 — Ambroise et McLachlan dénoncent le biais de sélection en génomique ; Ben-Hur, Elisseeff et Guyon valident les classifications par leur stabilité.

Synthèse

Robustesse

Regarder les contributions, repérer les aberrants par une distance robuste (MCD), comparer moyenne et médiane. Un point de rupture élevé protège contre les erreurs grossières.

Stabilité et hasard

Bootstrap des axes (un plan stable peut cacher des axes instables), analyse parallèle pour le nombre d'axes, sous-échantillonnage pour le nombre de classes.

Prédiction honnête

Toute la chaîne (sélection, réglages, nettoyage) refaite dans chaque pli de validation ; données manquantes imputées en respectant les liaisons.

Pour aller plus loin

L'algorithme du MCD. On part de petits sous-ensembles tirés au hasard ; à chaque « pas de concentration », on calcule moyenne et covariance du sous-ensemble, puis on garde les h points les plus proches au sens de cette covariance. Le déterminant ne peut que baisser ; on garde le meilleur de plusieurs départs. Les distances robustes se comparent à un quantile du χ² à p degrés de liberté.

Contributions et cosinus carrés. En ACP, la contribution d'un individu à un axe est la part de l'inertie de l'axe qui lui est due. Un individu dont la contribution dépasse nettement 1/n mérite d'être examiné, et éventuellement passé en supplémentaire.

Ce que le bootstrap ne fait pas. Il mesure la variabilité due à l'échantillonnage, pas les biais de recueil : un échantillon mal construit donne des résultats stables et faux (voir la page sur les techniques de sondage).

Liens avec les autres pages. Bootstrap et validation croisée ont leurs propres pages ; le test par permutation des classes est montré sur les cathédrales ; la régression pénalisée (ridge, lasso) utilise la validation croisée pour choisir son réglage.