Les mathématiques et l'intelligence artificielle

Pour une machine, un objet (une image, un patient, un mot) est une liste de nombres, donc un vecteur, un point dans un espace. Deux objets semblables sont deux points proches. La méthode des k plus proches voisins, décrite par Evelyn Fix et Joseph Hodges en 1951, en tire l'algorithme d'apprentissage le plus simple qui soit : pour classer un nouveau point, on regarde les k exemples connus les plus proches et l'on vote. Touchez le plan pour placer un point ; réglez k et la façon de mesurer la distance.

Apprendre, pour une IA, c'est minimiser une fonction d'erreur qui dépend de ses paramètres. En 1847, Augustin Cauchy propose une méthode pour trouver le minimum d'une fonction de plusieurs variables : calculer le gradient, le vecteur des dérivées partielles, qui indique la direction de plus forte pente, et faire un petit pas dans la direction opposée. Ici, la fonction f(x, y) = (1 − x)² + 5 (y − x²)² dessine une vallée courbe et étroite, dont le fond est en (1, 1). Comparez trois façons de descendre ; touchez la carte pour changer le point de départ.

Une couche de réseau de neurones fait deux choses : une application affine, x ↦ Wx + b, où W est une matrice, qui tourne, étire, cisaille et déplace l'espace sans le courber ; puis une fonction d'activation appliquée à chaque coordonnée, ici la tangente hyperbolique, qui le courbe en le comprimant entre −1 et 1. En enchaînant les couches, le réseau déforme le plan jusqu'à ce que deux classes entremêlées, ici deux « lunes », deviennent séparables par une simple droite. Le réseau ci-dessous (trois couches de deux neurones) a été entraîné ; suivez la déformation étape par étape.

Le cœur des Transformers (2017), sur lesquels reposent les assistants conversationnels, est le mécanisme d'attention. Chaque mot porte un vecteur. Chaque mot pose une « question » (un vecteur q) et offre une « étiquette » (un vecteur k) ; le produit scalaire q · k mesure leur accord. La fonction softmax, p_i = e^s_i / Σ e^s_j, transforme ces scores en probabilités, et chaque mot reçoit la moyenne des autres mots pondérée par ces probabilités. Dans cet exemple, les vecteurs sont choisis à la main et décrivent des traits grammaticaux ; dans un vrai modèle, ils sont appris. Touchez un mot.

Tout ce qui précède se combine dans un vrai réseau de neurones. Celui-ci a appris à reconnaître les chiffres manuscrits à partir de 1 347 exemples de la base publique Optical Recognition of Handwritten Digits (1998) : des images de 8 × 8 pixels, soit des vecteurs de 64 nombres. Il calcule h = max(0, W₁x + b₁) avec une matrice W₁ de 64 × 32, puis 10 scores s = W₂h + b₂ que la softmax change en probabilités. Ses 2 410 coefficients ont été ajustés par descente de gradient avec Adam. Dessinez un chiffre, aussi grand que possible, ou piochez une image de test.