Analyse de données

Une histoire des mathématiques de l'analyse des données

Des mesures qui ne concordent pas, des nuages de points, des espèces à distinguer, des valeurs aberrantes, des groupes à découvrir : en deux siècles et demi, chaque difficulté a fait naître une méthode. Cinq épisodes, de Boscovich aux algorithmes de partition, rejoués sur des planches et contrôlés par le calcul.

De quoi parle-t-on ?

L'analyse des données cherche à résumer, à représenter et à structurer des tableaux de nombres trop grands pour être lus. Elle n'est pas née d'un seul coup : astronomes, géodésiens, biologistes et psychologues ont inventé leurs outils au gré de leurs besoins, avant que les ordinateurs ne les rendent courants. Cette page complète l'histoire de la statistique et des sondages (Graunt, Laplace, Quetelet, Galton, Neyman) et les pages consacrées aux méthodes factorielles (ACP, AFC, ACM, classification).

Ajuster	Combiner des mesures discordantes : Boscovich (1757), Legendre (1805). Planche 1.
Résumer	Trouver l'axe qui représente le mieux un nuage : Pearson (1901), Hotelling (1933). Planche 2.
Séparer	Trouver la direction qui distingue deux espèces : Fisher (1936). Planche 3.
Résister	Se protéger des valeurs aberrantes : Tukey, Huber, Hampel (1960–1977). Planche 4.
Regrouper	Découvrir des groupes sans les connaître d'avance : Steinhaus, Lloyd, MacQueen (1956–1967). Planche 5.

Boscovich et Legendre : combiner des mesures qui ne s'accordent pas

Ruđer Bošković, mesure de l'arc de méridien (1757) · Adrien-Marie Legendre, Nouvelles méthodes pour la détermination des orbites des comètes (1805)

Au XVIIIᵉ siècle, on mesure la longueur d'un degré de méridien en cinq lieux, de l'équateur à la Laponie. Si la Terre est aplatie, cette longueur doit croître comme a + b sin²φ, et le rapport b/(3a) donne l'aplatissement. Mais cinq mesures pour deux inconnues ne s'accordent jamais exactement. Boscovich propose en 1757 la droite qui rend minimale la somme des écarts absolus, avec des écarts de somme nulle. Legendre propose en 1805 de rendre minimale la somme des carrés des écarts : c'est la méthode des moindres carrés, qui se calcule par de simples équations linéaires.

Méthode

Erreur ajoutée à la mesure de Laponie0 toise

Les cinq mesures (longueur d'un degré en toises, en fonction de sin² de la latitude) : Quito, cap de Bonne-Espérance, Rome, Paris, Laponie. Droite : l'ajustement choisi ; traits verticaux : les écarts. Pointillé gris : les deux autres méthodes.

Droite ajustée a + b·sin²φ

—

Aplatissement déduit b/(3a)

—

Somme des carrés / somme des écarts absolus

—

Contrôle : optimum vérifié par recherche exhaustive

—

Ce qu'il faut voir. Avec les données de 1757, la méthode de Boscovich donne un aplatissement de 1/246, et les moindres carrés 1/235 ; la valeur actuelle est 1/298 : les mesures de l'époque étaient elles-mêmes imprécises. Faites varier la mesure de Laponie : les moindres carrés suivent l'erreur ; la droite des écarts absolus, qui passe toujours par deux des points, réagit environ deux fois moins, sans résister tout à fait, car ce point situé à l'extrémité pèse lourd dans toutes les méthodes. Les moindres carrés l'ont pourtant emporté, parce qu'ils se calculent par des formules et que Gauss (1809) les a justifiés par la loi normale des erreurs. Les méthodes d'écarts absolus ne reviendront qu'avec les ordinateurs.

Pearson, 1901 : la droite la plus proche d'un nuage de points

Karl Pearson, « On lines and planes of closest fit to systems of points in space » (1901) · Harold Hotelling, composantes principales (1933)

La régression de Galton prédit une variable à partir d'une autre ; elle mesure les écarts verticalement, et les deux droites de régression (y en x, x en y) ne coïncident pas. Pearson pose une autre question : quelle est la droite la plus proche du nuage, en mesurant les distances perpendiculairement ? Il montre qu'elle passe par le centre de gravité et suit le grand axe de l'ellipse des données. Hotelling en fera en 1933 l'analyse en composantes principales. Tournez la droite.

Angle de la droite0°

Corrélation du nuage0,70

À gauche, le nuage, la droite tournante et les écarts perpendiculaires (rouge) ; en pointillé, les deux droites de régression de Galton. À droite, la somme des carrés des distances perpendiculaires en fonction de l'angle.

Somme des carrés des distances (angle choisi)

—

Minimum par section dorée

—

Direction du premier vecteur propre et plus petite valeur propre × n

—

Pentes : régression y/x, axe de Pearson, régression x/y

—

Ce qu'il faut voir. Le minimum trouvé en tournant la droite tombe exactement sur la direction du premier vecteur propre de la matrice de covariance, et la somme minimale égale la plus petite valeur propre multipliée par l'effectif. La droite de Pearson se place toujours entre les deux droites de régression : elle ne prédit rien, elle résume. C'est le point de départ de toutes les méthodes factorielles : chercher les directions qui conservent le plus de dispersion.

Fisher, 1936 : la direction qui sépare deux espèces

Ronald Fisher, « The use of multiple measurements in taxonomic problems » (1936) · mesures d'iris d'Edgar Anderson

Edgar Anderson a mesuré les pétales et les sépales de 150 iris de trois espèces. Fisher cherche la combinaison des mesures qui sépare le mieux deux espèces : la direction sur laquelle les moyennes des groupes sont le plus éloignées par rapport à la dispersion à l'intérieur de chaque groupe. Ce n'est pas la direction de plus grande dispersion (celle de Pearson) ; c'est une autre direction, donnée par une formule : w = W⁻¹ (m₁ − m₂), où W est la matrice de covariance intra-groupe. Les données ci-dessous sont simulées sur le modèle de deux espèces d'iris (longueur et largeur des pétales).

Direction de projection0°

À gauche, les deux espèces (bleu, orange) et la direction de projection. À droite, les histogrammes des projections : plus ils se chevauchent, plus la classification est difficile. En bas à droite, le critère de Fisher en fonction de l'angle.

Critère de Fisher (écart des moyennes)² / variance intra

—

Erreurs de classement sur cette direction

—

Maximum par balayage / formule W⁻¹(m₁ − m₂)

—

Direction de Pearson : erreurs

—

Ce qu'il faut voir. La direction de plus grande dispersion n'est pas celle qui sépare le mieux : quand les groupes sont allongés dans le même sens, la direction de Pearson les mélange alors que celle de Fisher les distingue. Le balayage de tous les angles retrouve la formule de Fisher au centième de degré près. Les iris de 1936 sont devenus le jeu de données le plus célèbre de la statistique, et l'analyse discriminante l'ancêtre de toutes les méthodes de classement automatique.

Tukey et la robustesse : se méfier des valeurs aberrantes

John Tukey, « The future of data analysis » (1962) et Exploratory Data Analysis (1977) · Peter Huber (1964) · Frank Hampel, point de rupture (1968)

La moyenne et les moindres carrés sont optimaux si les erreurs suivent la loi normale. Mais il suffit d'une seule valeur aberrante, une faute de frappe, un appareil déréglé, pour les fausser complètement. Tukey plaide pour une analyse exploratoire : regarder les données avant de les modéliser, avec des outils robustes comme la médiane et la « boîte à moustaches ». Hampel mesure la robustesse par le point de rupture : la proportion de données aberrantes qu'une méthode supporte avant de donner n'importe quoi.

Valeur de la donnée aberrante200

Part de données aberrantes5 %

En haut, 100 mesures (la vraie valeur est 10) dont une part est remplacée par la valeur aberrante, et la boîte à moustaches de Tukey (médiane, quartiles, moustaches, points isolés). En bas, l'erreur de trois estimateurs en fonction de la part de données aberrantes : moyenne (rouge), moyenne tronquée à 10 % (orange), médiane (vert).

Moyenne

—

Moyenne tronquée (10 % de chaque côté)

—

Médiane

—

Points de rupture mesurés

—

Ce qu'il faut voir. Une seule valeur aberrante, si elle est assez grande, emporte la moyenne aussi loin qu'on veut : son point de rupture est nul. La moyenne tronquée résiste jusqu'à 10 % de données aberrantes, la médiane jusqu'à 50 %, le maximum possible. La boîte à moustaches signale d'elle-même les points suspects. La robustesse a un prix, une précision un peu moindre quand tout va bien, que Huber a appris à doser.

Les k-moyennes : découvrir des groupes sans les connaître

Hugo Steinhaus (1956) · Stuart Lloyd, Bell Labs (1957, publié en 1982) · James MacQueen, le nom « k-means » (1967) · Arthur et Vassilvitskii, k-means++ (2007)

Fisher connaissait l'espèce de chaque iris. Que faire si on ne la connaît pas ? Steinhaus propose en 1956 de chercher k centres tels que la somme des carrés des distances de chaque point à son centre le plus proche, l'inertie intra-classe, soit la plus petite possible. Lloyd donne l'algorithme : affecter chaque point au centre le plus proche, remplacer chaque centre par le centre de gravité de son groupe, et recommencer. Chaque étape fait baisser l'inertie, mais l'algorithme peut s'arrêter dans un minimum local. Deux onglets.

Nombre de groupes k4

Départ

À gauche, les 400 points colorés selon leur centre actuel (croix) ; les traits montrent le déplacement des centres. À droite, l'inertie intra-classe à chaque étape.

Étape

—

Inertie intra-classe

—

Contrôle de Huygens : inertie totale = intra + inter

—

L'inertie a-t-elle toujours baissé ?

—

On relance l'algorithme 300 fois à partir de départs différents et l'on note l'inertie finale. Si l'algorithme trouvait toujours la meilleure partition, toutes les valeurs seraient égales. La méthode k-means++ choisit les centres de départ loin les uns des autres, avec une probabilité proportionnelle au carré de la distance.

Histogramme des inerties finales : départs au hasard (bleu) et k-means++ (vert). La barre la plus à gauche correspond à la meilleure partition trouvée.

Meilleure inertie trouvée

—

Départs au hasard qui l'atteignent

—

Départs k-means++ qui l'atteignent

—

Ce qu'il faut voir. L'inertie baisse à chaque étape, sans exception, et l'algorithme s'arrête en quelques itérations : c'est garanti, car il n'y a qu'un nombre fini de partitions. Mais la partition atteinte dépend du départ : avec des centres tirés au hasard, une partie des essais (environ 7 % ici) reste coincée dans une mauvaise solution, deux groupes réels fusionnés et un autre coupé en deux, avec une inertie trois fois plus forte. Le départ k-means++ réduit ce risque (environ 3 % ici) sans le supprimer. Trouver la meilleure partition est un problème réputé difficile (NP-difficile) : on se contente de bonnes solutions, en multipliant les essais.

Frise : vingt-huit jalons de l'analyse des données

En trois idées

Choisir ce qu'on minimise

Somme des carrés ou des écarts absolus, distances verticales ou perpendiculaires, inertie : chaque méthode est un problème d'optimisation, et le choix du critère change le résultat.

L'algèbre linéaire au cœur

Moindres carrés, composantes principales, analyse discriminante : tout se ramène à des matrices de covariance, à leurs inverses et à leurs vecteurs propres.

Regarder avant de calculer

Tukey l'a rappelé : les données réelles contiennent des surprises. Graphiques, méthodes robustes et essais multiples protègent des conclusions trompeuses.

Pour aller plus loin

Plusieurs planches ouvrent sur des pages plus détaillées de ce cahier : l'analyse en composantes principales ; les analyses factorielles des correspondances (simples et multiples) ; l'analyse canonique ; la classification des cathédrales gothiques (Ward, k-means) ; la matrice ordonnable de Bertin ; variance, covariance et corrélation (quartet d'Anscombe) ; la théorie et les méthodes de la statistique (bootstrap). L'histoire de la statistique et des sondages fait l'objet d'une page distincte.

Lectures : Stephen Stigler, The History of Statistics (sur Boscovich et Legendre) ; Jean-Paul Benzécri, Histoire et préhistoire de l'analyse des données ; John Tukey, Exploratory Data Analysis ; Ludovic Lebart, Alain Morineau et Marie Piron, Statistique exploratoire multidimensionnelle.

Précautions : les mesures de méridien de la planche 1 sont celles utilisées par Boscovich, d'après Stigler ; les iris de la planche 3 sont simulés sur le modèle des mesures d'Anderson, sans reproduire ses valeurs ; les nuages des planches 2, 4 et 5 sont fabriqués par la page.