Une analyse en composantes principales part d'un tableau rectangulaire : des individus en lignes, des variables en colonnes. Un tel tableau n'a ni déterminant, ni valeurs propres, ni inverse. Toute la méthode consiste à lui appliquer deux opérations d'algèbre linéaire — la transposition, qui fabrique un carré symétrique, et l'inversion, qui devient alors presque gratuite — pour faire apparaître des axes qui ne coûtent plus qu'une division par des nombres.
Neuf élèves, cinq matières : le tableau X compte 9 lignes et 5 colonnes. Les colonnes ne sont pas comparables (moyennes et dispersions différentes). On les centre et on les réduit ; le curseur fait passer continûment du tableau brut au tableau centré-réduit Z.
Ce qui bloque. Un opérateur ne peut avoir de valeurs propres que s'il envoie un espace dans lui-même. Ici Z envoie l'espace des 5 variables dans l'espace des 9 individus : chercher un vecteur v tel que Zv = λv n'a aucun sens, les deux membres n'habitent pas le même espace. Pas davantage de déterminant, ni d'inverse. C'est précisément ce que la transposée va réparer.
La transposée ZT a 5 lignes et 9 colonnes. Le produit ZTZ⁄n est donc carré 5×5 : c'est la matrice des corrélations R. Chaque case (i,j) est la somme des 9 produits d'une colonne par une autre — choisissez la case pour voir les termes s'additionner.
Deux carrés, les mêmes valeurs propres. La transposition marche des deux côtés : ZTZ est 5×5, ZZT est 9×9. Les deux sont symétriques, et leurs valeurs propres non nulles sont les mêmes — le grand carré n'apporte rien de plus, il traîne seulement 4 valeurs propres nulles, puisque son rang ne peut dépasser 5. On travaille donc toujours sur le plus petit des deux : ZTZ quand il y a peu de variables, ZZT au contraire quand on a 30 individus et 20 000 mesures par individu.
On diagonalise R = PDP−1 par rotations de Jacobi : chaque rotation annule le plus grand terme hors diagonale. Le changement de base demanderait ensuite d'inverser P — opération coûteuse et instable. Mais R est symétrique, donc P est orthogonale : son inverse est sa transposée.
Le second curseur est le contre-exemple. Il remplace P par une base quelconque Q = P + sN, encore inversible mais plus orthogonale. L'écart ‖Q−1 − QT‖ quitte aussitôt le niveau des arrondis. Autrement dit, ce n'est pas une commodité d'écriture : c'est la symétrie de ZTZ, elle-même conséquence de la transposition, qui rend l'inverse gratuite. Sur un tableau 200×200, cela remplace 2,7 millions d'opérations par une simple relecture d'indices.
Les colonnes de P donnent les nouveaux axes. Les coordonnées des individus sur ces axes forment C = ZP. Deux vérifications font toute l'ACP : les composantes sont décorrélées (CTC⁄n est diagonale), et l'on revient au tableau de départ par la seule transposée.
Pourquoi cela suffit. Comme P−1 = PT, la matrice de variance des composantes vaut PTRP = D : elle est diagonale, donc les composantes ne se répètent pas l'information. En gardant les k premières colonnes, l'inertie perdue est exactement λk+1 + … + λ5 — le curseur le vérifie chiffre par chiffre.
Une régression multiple demande, elle, une vraie inversion : β = (ZTZ)−1ZTy. Par la diagonalisation, cette inverse devient PD−1PT : le seul calcul réel est une division par les valeurs propres. Le curseur rend « Physique » de plus en plus semblable à « Maths ». On voit alors ce qu'on divise.