Analyse des données

L'analyse factorielle à facteurs latents

On ne voit pas l'aptitude d'un élève, le moral d'un ménage ou le risque d'un marché ; on voit des notes, des réponses, des cours de Bourse. L'analyse factorielle suppose que des causes cachées, peu nombreuses, expliquent les corrélations entre ce que l'on observe — et cherche à les retrouver.

L'idée en une phrase

Chaque variable observée x_i (centrée et réduite) est la somme d'une part commune, due à quelques facteurs latents f, et d'une part spécifique ε_i qui lui est propre (erreur de mesure, particularité de la question). Les facteurs sont de variance 1 et indépendants des parts spécifiques.

x_i = λ_i1f₁ + … + λ_ikf_k + ε_i ⟹ Σ = ΛΛ^T + Ψ

Les coefficients λ s'appellent les saturations (ou poids factoriels) ; Ψ est la matrice diagonale des variances spécifiques. Toute la méthode tient dans la seconde égalité : la matrice des corrélations observées doit pouvoir s'écrire comme un produit de rang k, plus une diagonale. Contrairement à l'ACP, qui résume des données, l'analyse factorielle propose un modèle qu'on peut tester.

L'intuition de Spearman : un facteur commun derrière les notes

En 1904, Charles Spearman remarque que les notes d'écoliers dans des matières très différentes sont toutes corrélées positivement, et que ces corrélations s'ordonnent : il imagine une aptitude générale g, invisible, dont chaque matière dépend plus ou moins. Si c'est vrai, la corrélation entre deux matières doit valoir le produit de leurs saturations : r_ij = λ_iλ_j. On simule ici des élèves fabriqués selon ce modèle.

Nombre d'élèves—

Force du facteur g1,00

Sous la diagonale, les corrélations observées entre les six matières ; au-dessus, les produits λ_iλ_j prévus par le modèle à un facteur. Les deux triangles se ressemblent.

Histogramme des 45 « différences tétrades » r_ijr_kl − r_ikr_jl. Un seul facteur commun les rend toutes nulles en théorie ; elles fluctuent seulement autour de 0, d'autant moins que la classe est grande.

Corrélation moyenne entre matières—

Écart max |r_ij − λ_iλ_j|—

Tétrade moyenne en valeur absolue—

La même × √n—

À retenir. Une variable latente unique impose une forme très particulière aux corrélations : elles sont toutes de même signe, rangées en « hiérarchie », et les différences tétrades s'annulent. C'est un fait vérifiable sur les données : Spearman en fit la première preuve en faveur de son facteur g. Quand la force du facteur tend vers 0, les corrélations disparaissent : sans cause commune, pas de liaison.

Le modèle, et ce qui le distingue de l'ACP

Réglez les saturations de quatre questions d'un questionnaire. La variance de chaque question (égale à 1) se partage en communauté h² = λ² (la part due au facteur) et unicité ψ = 1 − λ² (la part spécifique). L'ACP, elle, ne fait pas ce partage : elle cherche à résumer toute la variance, y compris la part spécifique, ce qui gonfle ses coefficients.

Le diagramme du modèle : le facteur f (cercle) agit sur chaque question (carrés) avec la force λ ; chaque question reçoit aussi sa part spécifique ε (petits cercles).

λ de la question 10,85

λ de la question 20,70

λ de la question 30,55

λ de la question 40,40

Variance de chaque question : bleu la communauté λ², orange l'unicité 1 − λ².

Corrélations impliquées par le modèle

Sur 500 réponses simulées : qui retrouve les vraies saturations ?

Erreur moyenne de l'analyse factorielle—

Erreur moyenne de l'ACP (1ʳᵉ composante)—

À retenir. L'analyse factorielle n'explique que les corrélations entre variables (les cases hors de la diagonale), en laissant de côté la part spécifique de chaque variable. L'ACP explique aussi la diagonale, donc mêle l'erreur au signal : ses coefficients sont systématiquement trop grands, surtout pour les variables faiblement saturées. Avec beaucoup de variables bien saturées, les deux méthodes finissent par se rapprocher.

Estimer les saturations et choisir le nombre de facteurs

On fait passer à 400 personnes une batterie de huit épreuves, quatre verbales (V1 à V4) et quatre numériques (N1 à N4). Combien de facteurs faut-il ? On estime le modèle par le maximum de vraisemblance, calculé ici par l'algorithme EM de Rubin et Thayer (1982) : à chaque itération, on devine les facteurs à partir des saturations, puis les saturations à partir des facteurs devinés.

Nombre de facteurs k

Log-vraisemblance au fil des itérations d'EM (échelle logarithmique en abscisse). Elle ne peut que monter.

Les saturations estimées (bleu positif, orange négatif) et, à droite, l'unicité ψ de chaque épreuve.

Itération—

Log-vraisemblance—

Plus petite hausse d'une itération à l'autre—

Valeurs propres de R supérieures à 1 (règle de Kaiser)—

Le test du nombre de facteurs

Le modèle à k facteurs impose des contraintes aux corrélations. Le test du rapport de vraisemblance (avec la correction de Bartlett) mesure si les écarts restants entre corrélations observées et ajustées sont plus grands que le hasard ne le permet. Une p-valeur faible veut dire : il manque des facteurs.

À retenir. Avec un seul facteur, le test rejette nettement le modèle : verbal et numérique ne se réduisent pas à une aptitude unique. Avec deux facteurs, l'écart restant est compatible avec le hasard ; un troisième n'apporte presque rien. Le maximum de vraisemblance fournit à la fois les estimations et ce test, ce qui fait de l'analyse factorielle une méthode statistique et non un simple résumé.

Faire tourner les facteurs

Les saturations ne sont définies qu'à une rotation près : si l'on tourne les axes des facteurs, ΛΛ^T ne change pas, donc les corrélations ajustées et la vraisemblance non plus. On profite de cette liberté pour chercher la rotation la plus lisible, celle où chaque épreuve dépend surtout d'un seul facteur. Le critère varimax de Kaiser (1958) maximise la dispersion des carrés des saturations.

Chaque épreuve est placée par ses deux saturations. Les axes rouges sont les facteurs après rotation : quand ils passent au milieu des deux grappes, chacun se lit comme « verbal » ou « numérique ».

Angle de rotation0,0°

Critère varimax en fonction de l'angle, sur un quart de tour (le critère se répète tous les 90°). Point rouge : l'angle choisi.

Critère varimax—

Angle optimal par section dorée—

Angle optimal par la formule de Kaiser—

ΛΛ^T avant / après rotation—

Communautés h² (inchangées)—

À retenir. La solution brute d'une analyse factorielle donne souvent un premier facteur « général » (tout le monde sature positivement) et un second « bipolaire » (verbal contre numérique). Ce n'est pas faux, c'est une orientation parmi une infinité d'autres équivalentes. Varimax choisit celle qui sépare le mieux : ici, deux facteurs « verbal » et « numérique ». L'interprétation dépend donc d'un choix de présentation que les données, à elles seules, n'imposent pas.

Applications, et une mise en garde de 1916

Trois volets : estimer la valeur cachée d'une personne (les scores factoriels), mesurer la part du risque d'un portefeuille que la diversification ne peut pas effacer, et l'objection de Godfrey Thomson : un modèle à un facteur qui s'ajuste très bien ne prouve pas qu'un facteur unique existe.

Reprenons la classe de la planche 1, dont on connaît, puisqu'on l'a fabriquée, l'aptitude cachée g de chaque élève. On ne peut pas la calculer exactement à partir des six notes (il resterait de l'incertitude même avec un modèle parfait), mais on peut l'estimer. Deux formules classiques : la régression de Thomson, f̂ = Λ^TΣ⁻¹x, et celle de Bartlett, f̂ = (Λ^TΨ⁻¹Λ)⁻¹Λ^TΨ⁻¹x.

Formule

Score estimé en fonction de la vraie aptitude. Pointillé : la diagonale (estimation parfaite). Vert : droite des moindres carrés.

Corrélation score / vraie aptitude—

Théorie √(Λ^TΣ⁻¹Λ)—

Variance du score—

Variance prévue—

Pente du score sur la vraie aptitude—

Douze actions : chacune dépend du marché, de son secteur (trois secteurs) et d'aléas propres à l'entreprise. Une analyse factorielle sur les rendements quotidiens sépare la part commune (que tous subissent) de la part spécifique. Or, dans un portefeuille de k actions à parts égales, la part spécifique se dilue comme 1/k, la part commune jamais : l'analyse factorielle annonce le plancher de la diversification.

Variance moyenne d'un portefeuille de k actions tirées au hasard (bleu, mesurée sur 750 jours simulés) et prévision du modèle à deux facteurs (vert). Pointillé rouge : le plancher commun.

Part spécifique moyenne d'une action (ψ moyen)—

Plancher prévu par le modèle—

Variance mesurée avec les 12 actions—

Prévue avec les 12 actions—

Saturation moyenne sur le facteur marché—

Ce raisonnement est au cœur de la théorie des marchés : seule la part commune du risque est rémunérée, puisque la part spécifique s'élimine gratuitement en diversifiant (modèle d'arbitrage de Ross, 1976).

Thomson propose un autre mécanisme : l'esprit serait fait d'un grand nombre de petites capacités élémentaires indépendantes (des « liens »), et chaque épreuve en mobiliserait une partie tirée au hasard. Il n'y a alors aucun facteur général : seulement des chevauchements. Pourtant, deux épreuves qui partagent des liens sont corrélées, d'autant plus qu'elles en mobilisent beaucoup : leur corrélation vaut en moyenne √(q_iq_j), exactement la forme λ_iλ_j d'un modèle à un facteur. Avec peu de liens, les chevauchements irréguliers trahissent le mécanisme ; avec un millier de liens, le test sur 300 personnes accepte le plus souvent le facteur unique.

Nombre de liens élémentaires1000

Chaque ligne est une épreuve, chaque colonne un lien élémentaire ; une case colorée signifie que l'épreuve mobilise ce lien. Aucun lien n'est commun à toutes les épreuves.

Liens communs aux six épreuves—

Corrélation minimale entre épreuves—

Tétrade moyenne en valeur absolue—

Test du modèle à un facteur sur 300 personnes (p-valeur)—

Dix autres tirages : modèle accepté—

Saturations estimées—

Prévision √(q_i) (part des liens mobilisés)—

À retenir. L'analyse factorielle sert à mesurer ce qu'on ne voit pas (scores, avec une prudence : le score par régression est « rétréci » vers la moyenne, celui de Bartlett est sans biais mais plus dispersé) et à séparer le commun du spécifique (le plancher du risque d'un portefeuille). Mais un modèle qui s'ajuste n'est pas une explication : le mécanisme de Thomson, sans aucun facteur général, produit des corrélations que le modèle à un facteur accepte. Le facteur est une description économe des corrélations ; en faire une chose réelle demande d'autres arguments.

Repères historiques

1904 — Charles Spearman, « General intelligence, objectively determined and measured » : le facteur g et les tétrades.
1916 — Godfrey Thomson montre qu'un modèle de liens indépendants reproduit la même structure de corrélations sans facteur général.
1933 — Harold Hotelling publie l'analyse en composantes principales, souvent confondue depuis avec l'analyse factorielle.
1935–1947 — Louis Leon Thurstone généralise à plusieurs facteurs (aptitudes mentales primaires) et pose le principe de la « structure simple ».
1940 — Derrick Lawley introduit l'estimation par maximum de vraisemblance ; Bartlett propose plus tard sa correction du test et ses scores (1937–1950).
1958 — Henry Kaiser propose la rotation varimax ; la règle « valeurs propres supérieures à 1 » porte aussi son nom.
1967–1969 — Karl Jöreskog rend le maximum de vraisemblance praticable et ouvre l'analyse factorielle confirmatoire.
1976 — Stephen Ross fonde la théorie de l'arbitrage sur un modèle à facteurs des rendements boursiers.
1982 — Donald Rubin et Dorothy Thayer donnent l'algorithme EM de l'analyse factorielle.
1990 — Le modèle des « cinq grands » traits de personnalité, issu d'analyses factorielles de questionnaires, s'impose en psychologie.

Synthèse et domaines d'application

Le modèle

x = Λf + ε, donc Σ = ΛΛ^T + Ψ. Chaque variable a une communauté (due aux facteurs) et une unicité (sa part propre). On explique les corrélations, pas toute la variance.

La démarche

Estimer par maximum de vraisemblance, tester le nombre de facteurs, faire tourner (varimax) pour lire, calculer des scores. Les saturations ne sont définies qu'à une rotation près.

Les usages

Psychométrie (aptitudes, personnalité, échelles de questionnaires), santé (qualité de vie, symptômes), marketing (satisfaction, image de marque), finance (facteurs de risque), sociologie (attitudes), sciences de l'éducation.

Pour aller plus loin

Analyse factorielle ou ACP ? L'ACP décompose la matrice de corrélation complète, diagonale comprise ; ses composantes sont des combinaisons exactes des variables. L'analyse factorielle ne cherche à reproduire que les corrélations hors diagonale ; ses facteurs ne sont pas des combinaisons exactes des variables, d'où la nécessité de les estimer (scores).

Les cas de Heywood. L'estimation peut conduire à une unicité ψ nulle ou négative, impossible pour une variance. C'est le signe d'un modèle mal adapté (trop de facteurs, trop peu d'observations) ; les logiciels bornent alors ψ.

Nombre de paramètres. Avec p variables et k facteurs, le modèle ne peut être testé que si le nombre de degrés de liberté ((p − k)² − (p + k))/2 est positif : pour huit variables, au plus quatre facteurs.

Analyse confirmatoire. Au lieu de laisser toutes les saturations libres puis de tourner, on fixe à 0 celles que la théorie exclut (par exemple, les épreuves verbales ne dépendent pas du facteur numérique) et l'on teste ce modèle précis : c'est le point de départ des modèles d'équations structurelles.

Liens avec les autres pages. L'algorithme EM a sa propre page ; l'ACP, l'AFC et l'AFDM résument des tableaux sans modèle probabiliste latent.