Analyse des données

STATIS : comparer plusieurs tableaux de données

Six dégustateurs décrivent les mêmes huit vins, chacun avec ses propres mots. Dix régions sont mesurées chaque année pendant huit ans. Dans les deux cas, on a plusieurs tableaux portant sur les mêmes individus. STATIS répond à trois questions : les tableaux se ressemblent-ils ? Quelle image commune en tirer ? Où chaque tableau s'en écarte-t-il ?

L'idée en une phrase

STATIS (Structuration des Tableaux À Trois Indices de la Statistique), mise au point à Montpellier par Jean-Pierre Escoufier et Christine Lavit autour de 1976–1988, compare des tableaux qui n'ont pas les mêmes colonnes. Elle se déroule en trois étapes :

l'interstructure : on mesure la ressemblance entre tableaux, deux à deux, par le coefficient RV, puis on dessine les tableaux eux-mêmes comme des points ;
le compromis : on fabrique une moyenne pondérée des tableaux, en donnant plus de poids à ceux qui ressemblent le plus aux autres, et on en tire une carte des individus ;
l'intrastructure : on replace chaque tableau sur cette carte commune, pour voir où il diverge.

Les données sont fictives. Cette page présente la méthode de façon générale et complète la page STATIS consacrée aux cathédrales décrites partie par partie.

Rendre les tableaux comparables : l'opérateur W

Chaque dégustateur a choisi ses propres descripteurs (fruité, boisé, acidité…), en nombre variable : on ne peut ni additionner ni empiler les colonnes. Mais tous décrivent les mêmes huit vins. L'astuce de STATIS est de remplacer chaque tableau X_k (8 lignes, m_k colonnes) par la matrice 8 × 8 des produits scalaires entre vins :

W_k = X_k X_k^T

Cette matrice dit, pour ce dégustateur, quels vins se ressemblent et lesquels s'opposent, sans plus faire référence aux mots employés. Toutes les W_k ont la même taille : on peut les comparer.

Tableau affiché

Variables

Colonnes du tableau affiché—

Traduction : écart max entre W₁ et W de la traduction—

Les six matrices W_k normées, côte à côte. Bleu : produit scalaire positif (vins semblables pour ce dégustateur) ; orange : négatif (vins opposés). Le cadre rouge entoure le dégustateur affiché.

À retenir. W_k ne change pas si l'on fait tourner les colonnes de X_k, c'est-à-dire si l'on remplace les descripteurs par des combinaisons orthonormées d'entre eux. Le bouton de traduction le montre : un dégustateur qui dit autrement la même chose a exactement la même matrice, à 10⁻¹⁵ près. On compare donc des façons de voir les vins, pas des vocabulaires. Chaque W_k est ensuite divisée par sa norme, pour qu'un dégustateur qui note fort ou utilise beaucoup de mots ne pèse pas davantage.

L'interstructure : des tableaux qui se ressemblent

Deux matrices W se comparent comme deux vecteurs, par un cosinus : c'est le coefficient RV d'Escoufier (1973). Il vaut 1 si les deux dégustateurs voient exactement la même structure (à un facteur près), et 0 s'ils n'ont rien en commun.

RV(k, l) = tr(W_kW_l) / √( tr(W_k²) · tr(W_l²) )

Le dégustateur 6 est réglable : faites-le passer progressivement d'une perception proche des autres à une perception toute différente.

Désaccord du dégustateur 60,60

La matrice des coefficients RV entre les six dégustateurs.

L'image des dégustateurs : chacun est une flèche, obtenue par diagonalisation de la matrice des RV. Plus deux flèches sont proches, plus les dégustateurs se ressemblent. L'axe 1 (horizontal) est toujours positif.

Les poids α_k du compromis, proportionnels aux coordonnées des dégustateurs sur l'axe 1.

RV moyen du dégustateur 6 avec les autres—

Poids α₆ dans le compromis—

Part de l'axe 1 de l'interstructure—

RV par les traces contre cosinus des vecteurs—

À retenir. Les RV sont tous positifs, si bien que le premier vecteur propre a toutes ses composantes de même signe (théorème de Perron-Frobenius) : il fournit des poids naturels. Un dégustateur qui s'accorde avec les autres reçoit un poids élevé ; un dissident voit son poids fondre sans qu'on ait à décider de l'exclure. L'axe 1 mesure l'accord général, l'axe 2 révèle qui s'en écarte et dans quel sens.

Le compromis : une image commune des vins

Le compromis est la matrice moyenne pondérée W = Σ α_kW_k. On la diagonalise, comme dans une ACP, pour obtenir une carte des vins. Les poids de STATIS ne sont pas arbitraires : ils rendent le compromis le plus « lié » possible à l'ensemble des tableaux, c'est-à-dire qu'ils maximisent Σ_k ⟨W, W_k⟩² pour un vecteur de poids de norme fixée. Comparez avec d'autres choix.

Poids utilisés

La carte des huit vins tirée du compromis (axes 1 et 2), retournée si besoin pour rester comparable d'un choix de poids à l'autre. Les points gris sont les vraies positions qui ont servi à fabriquer les données.

Critère Σ ⟨W, W_k⟩² (poids de norme 1)—

Meilleur de 5 000 vecteurs de poids tirés au hasard—

Plan 1-2 du compromis—

Ressemblance (RV) avec la vraie configuration—

Dégustateurs seuls : pire / meilleur RV avec la vraie configuration—

RV entre le compromis et chaque dégustateur : à quel point la carte commune ressemble à ce que chacun voit.

À retenir. Le compromis de STATIS est, de tous les mélanges de tableaux, celui qui résume le mieux leur ensemble ; aucun des 5 000 tirages ne fait mieux. Il est aussi fidèle à la réalité que le meilleur dégustateur pris isolément (que l'on ne connaît pas à l'avance) et nettement plus que la plupart des autres : les erreurs individuelles se compensent, et le dissident, faiblement pondéré, perturbe moins qu'avec des poids égaux.

L'intrastructure : chaque dégustateur sur la carte commune

On projette chaque W_k sur les axes du compromis : chaque vin obtient alors un point « partiel » par dégustateur, F_k = W_kVΛ^−1/2. Le point du compromis est exactement la moyenne pondérée de ses points partiels. Les étoiles montrent où les dégustateurs divergent.

Dégustateur mis en valeur

Chaque vin (gros point) est relié à ses six points partiels. Le dégustateur choisi est en rouge.

Cercle des corrélations entre les descripteurs du dégustateur choisi et les axes du compromis : ce qui, dans ses mots, explique la carte commune.

Écart max Σ α_kF_k − F—

Vin le plus discuté (étoile la plus large)—

Vin le plus consensuel—

Distance moyenne des points partiels au compromis, dégustateur choisi—

À retenir. L'intrastructure ramène chaque tableau dans le repère commun : on peut lire, vin par vin, qui le juge autrement que les autres, et, dégustateur par dégustateur, comment ses propres mots se rattachent aux axes communs. Le dégustateur 6, dissident, a des points partiels systématiquement éloignés ; un dégustateur fiable reste près des centres.

Applications : le temps, le bavard et la confiance

STATIS sert dès qu'un même ensemble d'individus est décrit plusieurs fois : par plusieurs juges, à plusieurs dates, en plusieurs lieux, par plusieurs instruments. Trois situations typiques.

Dix régions fictives sont décrites chaque année, de 2016 à 2023, par les mêmes quatre indicateurs (taux de chômage, revenu médian, part de diplômés du supérieur, solde migratoire). Chaque année est un tableau. L'interstructure trace alors un chemin dans le temps ; une année de crise vient brouiller la structure habituelle.

Intensité du choc de 20200,80

Interstructure : les huit années comme points, reliées dans l'ordre chronologique.

Compromis des régions, avec leur trajectoire au fil des années (points partiels reliés de 2016 à 2023, la flèche indique 2023).

RV entre deux années consécutives (moyenne hors 2020)—

RV moyen de 2020 avec les autres années—

Poids de 2020 / poids moyen—

Région qui a le plus bougé—

Le dégustateur 1 décrit les vins avec de très nombreux descripteurs, presque redondants. Si l'on concatène tous les tableaux pour faire une seule ACP, il impose sa vision. STATIS, qui travaille sur des W_k normées, lui donne le même droit de parole que les autres (et l'AFM, qui divise chaque tableau par sa première valeur propre, le fait autrement).

Descripteurs du dégustateur 118

Part de chaque dégustateur dans l'analyse : part de l'inertie totale pour la concaténation (orange), poids α pour STATIS (bleu).

Ressemblance (RV) de chaque carte avec la vraie configuration et avec le point de vue du seul dégustateur 1.

Part du dégustateur 1, concaténation—

Poids du dégustateur 1, STATIS—

RV de la carte concaténée avec le dégustateur 1—

RV de la carte STATIS avec le dégustateur 1—

Ici, le dégustateur 1 est aussi le moins fiable (ses notes sont bruitées et il confond deux vins). Plus il parle, plus la concaténation lui ressemble et s'éloigne de la vérité ; STATIS n'en est pas affectée, car W₁ est normée quel que soit le nombre de colonnes.

Les six dégustateurs ne sont qu'un échantillon de tous ceux qu'on aurait pu inviter. On rééchantillonne donc les dégustateurs : on tire 6 dégustateurs avec remise parmi les 6, on refait tout STATIS, on recale la nouvelle carte sur l'ancienne par une rotation (Procuste), et l'on recommence 400 fois. Chaque vin devient un nuage : deux vins dont les nuages se chevauchent ne sont pas vraiment distingués par le panel.

Les 400 positions de chaque vin, et l'ellipse qui en contient 95 % (approximation normale).

Rééchantillonnages effectués—

Vin le moins bien placé (plus grande ellipse)—

Paire de vins la moins bien séparée—

Paires de vins nettement séparées (écart > 2,45 écarts-types combinés)—

À retenir. STATIS s'applique à toutes les données « à trois indices » (individus × variables × occasions) : analyse sensorielle et panels de juges, suivi dans le temps (régions, entreprises, patients), écologie (mêmes stations, plusieurs campagnes), sciences de la vie (mêmes gènes, plusieurs conditions), comparaison d'instruments ou de méthodes de mesure. L'interstructure dit si les occasions se ressemblent, le compromis donne la structure stable, l'intrastructure montre les écarts — et le rééchantillonnage dit si l'on peut s'y fier.

Repères historiques

1958 — Warren Torgerson : passer d'une matrice de distances à une matrice de produits scalaires, puis à une carte.
1966 — Ledyard Tucker propose une analyse en composantes principales à trois modes.
1970 — Richard Harshman (PARAFAC) et Carroll et Chang (INDSCAL) : modèles pour plusieurs matrices de distances, un par sujet.
1973 — Yves Escoufier définit le coefficient RV et l'idée de représenter un tableau par un opérateur.
1975 — John Gower publie l'analyse de Procuste généralisée, utilisée pour comparer des configurations de juges.
1976 — Premiers travaux d'Escoufier et de L'Hermier des Plantes à Montpellier sur l'analyse conjointe de plusieurs tableaux.
1985 — Brigitte Escofier et Jérôme Pagès proposent l'AFM, une autre façon d'équilibrer les tableaux.
1988 — Christine Lavit, Analyse conjointe de tableaux quantitatifs : la présentation de référence de STATIS.
1994 — Lavit, Escoufier, Sabatier et Traissac, « The ACT (STATIS method) », Computational Statistics & Data Analysis.
2012 — Hervé Abdi et ses coauteurs popularisent STATIS et DISTATIS (pour des matrices de distances) en analyse sensorielle et en neurosciences.

Synthèse

Un tableau = une matrice W

W_k = X_kX_k^T, normée : elle ne dépend pas des mots ni du nombre de colonnes, seulement de la structure qu'un tableau donne aux individus.

Comparer, puis moyenner

RV mesure la ressemblance de deux tableaux ; le premier vecteur propre de la matrice des RV fournit des poids, et le compromis W = Σ α_kW_k une carte commune.

Revenir aux détails

Les points partiels F_k placent chaque tableau sur la carte commune, et leur moyenne pondérée redonne exactement le compromis.

Pour aller plus loin

Pourquoi RV ressemble à un R². Quand chaque tableau n'a qu'une seule colonne centrée, RV est exactement le carré du coefficient de corrélation entre les deux colonnes. RV généralise donc la corrélation à des groupes de variables.

Le produit scalaire de Hilbert-Schmidt. ⟨A, B⟩ = tr(AB) = Σ_ij a_ijb_ij pour des matrices symétriques : c'est le produit scalaire ordinaire des matrices « mises à plat ». La planche 2 vérifie l'égalité des deux calculs.

Pondération des individus. Si les individus n'ont pas le même poids (par exemple des régions de tailles différentes), on remplace W_k par W_kD, avec D la matrice diagonale des poids, et les traces en tiennent compte.

Variantes. STATIS duale (mêmes variables, individus différents : on compare les matrices de covariance), DISTATIS (quand chaque juge fournit seulement des distances, par exemple par tri libre), STATIS-4 et les versions robustes qui écartent automatiquement les tableaux aberrants.

STATIS ou AFM ? L'AFM concatène les tableaux en divisant chacun par sa première valeur propre ; elle conserve les variables, ce qui facilite l'interprétation. STATIS pondère par l'accord entre tableaux ; elle convient particulièrement quand certains tableaux sont moins fiables que d'autres.