Cahier de géométrie — algèbre linéaire

Les matrices,
et ce qu'elles font au plan

Un tableau de nombres ne dit rien par lui-même. Ce qui donne son sens à une matrice, c'est qu'elle transforme l'espace : elle prend le quadrillage et le déforme, et les colonnes du tableau ne sont rien d'autre que les images des vecteurs de base. Tout le calcul matriciel découle de cette lecture — le produit compose deux déformations, le déterminant mesure ce que devient l'aire, l'inverse défait ce qui a été fait. Et une question s'impose alors : y a-t-il des directions que la transformation se contente d'étirer sans les faire tourner ? Ce sont les vecteurs propres, et les trouver, c'est diagonaliser.

Les colonnes d'une matrice sont les images des vecteurs de base. Tout le reste se déduit de cette phrase. La lecture qui rend le calcul matriciel évident
Planche I

Une matrice déforme le plan

Regardez le quadrillage se déformer. Les droites restent des droites, l'origine reste à sa place, les parallèles restent parallèles : c'est la définition d'une application linéaire, et toute application linéaire du plan s'écrit avec quatre nombres. La première colonne est l'image du vecteur (1 ; 0), la seconde celle du vecteur (0 ; 1) — il suffit de les lire sur le dessin. Le déterminant se lit lui aussi : c'est le facteur par lequel les aires sont multipliées, avec un signe négatif quand le plan est retourné.

image de (1 ; 0)
image de (0 ; 1)
déterminant
aire mesurée du parallélogramme
orientation
rang

Quand le déterminant s'annule. Les deux colonnes deviennent colinéaires, tout le plan est écrasé sur une droite, et l'information est perdue sans retour : la matrice n'est plus inversible. Le déterminant n'est donc pas une curiosité de calcul mais le test décisif — il vaut zéro exactement quand la transformation détruit une dimension. Essayez le préréglage singulière et regardez le quadrillage se replier sur une seule ligne.

Planche II

Le produit : composer deux transformations

Multiplier deux matrices, c'est enchaîner deux déformations — et le produit AB signifie « faire B, puis A », dans cet ordre, parce qu'on écrit A(Bv). L'ordre compte : les deux vues ci-dessous appliquent les mêmes transformations en sens inverse et ne donnent pas la même figure. La règle de calcul, ligne par colonne, n'a rien de mystérieux une fois qu'on a compris ce qu'elle exprime : la colonne j du produit est l'image, par A, de la colonne j de B.

A B
B A
commutent ?
det(AB) = det A · det B
(AB)⁻¹ = B⁻¹A⁻¹

A appliquéB appliqué

Pourquoi le déterminant est multiplicatif. Parce qu'il mesure un facteur d'échelle des aires : enchaîner deux transformations multiplie les facteurs, comme deux réductions successives à la photocopieuse. C'est aussi pourquoi l'inverse a pour déterminant l'inverse du déterminant, et pourquoi une matrice de déterminant nul ne peut avoir d'inverse — aucun facteur multiplié par zéro ne redonne un.

Planche III

Les directions qui ne tournent pas

Faites tourner un vecteur sur le cercle et regardez son image : en général elle pointe ailleurs. Mais il existe parfois des directions privilégiées où l'image reste sur la même droite que le vecteur de départ, seulement allongée ou raccourcie. Ce sont les vecteurs propres, et le facteur d'allongement est la valeur propre. La courbe de droite trace l'angle entre v et Mv : les vecteurs propres sont exactement les endroits où elle touche zéro. Ces valeurs sont les racines du polynôme caractéristique det(M − λI), tracé en dessous.

valeurs propres
somme = trace
produit = déterminant
angle entre v et Mv
rapport |Mv| / |v|
Mv − λv au vecteur propre

Deux cas où les directions propres manquent. Une rotation ne laisse aucune droite en place — ses valeurs propres sont complexes, et cela se lit sur le polynôme caractéristique qui ne coupe jamais l'axe. Un cisaillement, lui, n'a qu'une seule direction propre au lieu de deux : sa valeur propre est double mais son espace propre reste de dimension un, et la matrice est dite défective. Ces deux exceptions ne sont pas des pathologies rares : elles gouvernent respectivement les oscillations et les régimes critiques en mécanique.

Planche IV

Diagonaliser, et ce que cela permet

Si les vecteurs propres forment une base, écrivons tout dans cette base : la matrice y devient diagonale, et l'on a M = PDP⁻¹, où P range les vecteurs propres en colonnes. Le bénéfice est immédiat et considérable — élever M à la puissance n revient à élever les seuls termes diagonaux, puisque les P⁻¹P intermédiaires s'annulent deux à deux. Itérez la transformation sur un vecteur quelconque : il s'aligne sur le vecteur propre dominant, et la vitesse de cet alignement est le rapport des deux valeurs propres.

diagonalisable ?
M par P D P⁻¹ — écart
Mⁿ direct contre P Dⁿ P⁻¹
rapport |λ₂ / λ₁|
angle au vecteur propre dominant
nangle au vecteur dominantrapport d'une étape à l'autre|λ₂/λ₁|

La méthode de la puissance, et son usage. Itérer une matrice sur un vecteur au hasard et normaliser à chaque tour : c'est l'algorithme le plus simple pour trouver la valeur propre dominante, et il converge géométriquement au rythme |λ₂/λ₁|. C'est exactement ce que fait le PageRank de Google sur une matrice de plusieurs milliards de lignes, et c'est aussi ce que fait, sans le savoir, une population dont la structure d'âges tend vers le vecteur propre dominant de sa matrice de Leslie.

Planche V

Ce qui ne manque jamais : les valeurs singulières

L'élément décisif. Les valeurs propres font défaut pour une rotation, elles se dédoublent mal pour un cisaillement, elles n'ont aucun sens pour une matrice rectangulaire. Il existe pourtant une décomposition qui existe toujours, pour n'importe quelle matrice : M = U Σ Vᵀ, c'est-à-dire une rotation, puis une dilatation selon deux axes perpendiculaires, puis une seconde rotation. Le cercle unité devient une ellipse, ses demi-axes sont les valeurs singulières, et leur rapport mesure à quel point la matrice est mal conditionnée.

Étape 1 : la rotation Vᵀ. Étape 2 : la dilatation Σ. Étape 3 : la rotation U.

valeurs singulières
U Σ Vᵀ − M
conditionnement σ₁ / σ₂
produit σ₁σ₂ contre |det M|
valeurs propres, pour comparaison

cercle et son imagepremier axe singuliersecond axe singulier

Pourquoi c'est la décomposition qui compte le plus. Elle existe pour toute matrice, même rectangulaire, même singulière ; ses facteurs sont orthogonaux donc numériquement stables ; et tronquer les plus petites valeurs singulières donne la meilleure approximation de rang réduit qui soit — théorème d'Eckart et Young. C'est ce mécanisme qui comprime les images, qui débruite les données, qui alimente l'analyse en composantes principales, et qui répond à la question pratique : dans cette matrice, qu'est-ce qui est du signal et qu'est-ce qui est du bruit ?