L'intelligence artificielle : où en est-on, où va-t-on ?

Le principal moteur des progrès récents est d'une simplicité brutale : entraîner des réseaux toujours plus grands, sur toujours plus de données, avec toujours plus de calcul. On le mesure en FLOP, le nombre d'opérations sur des nombres à virgule effectuées pendant l'entraînement. Les chercheurs de l'institut Epoch AI recensent ces quantités : elles ont été multipliées par 4 à 5 chaque année depuis 2010. Sur une échelle logarithmique, où chaque graduation multiplie par dix, une croissance exponentielle devient une droite ; la pente de la droite donne le facteur annuel. Choisissez la période sur laquelle ajuster la droite.

Fait remarquable, la performance d'un modèle de langage se prévoit avant de l'entraîner. En 2020 puis 2022, des chercheurs d'OpenAI et de DeepMind ont montré que l'erreur de prédiction du mot suivant suit des lois de puissance du nombre de paramètres N et du nombre de mots d'entraînement D. L'équipe de DeepMind (Hoffmann et ses collègues, 2022) propose L(N, D) = E + A / N^α + B / D^β, avec un calcul C ≈ 6 N D. À budget de calcul fixé, faut-il un grand modèle peu entraîné ou un modèle plus petit entraîné plus longtemps ? Choisissez un budget, puis déplacez la taille du modèle.

Les générateurs d'images, de vidéos, mais aussi certains outils de conception de protéines et de prévision météorologique, reposent sur les modèles de diffusion (2015, puis 2020). L'idée : on apprend à débruiter. On part d'un nuage de points tirés au hasard, du pur bruit, et l'on retire le bruit progressivement, à chaque étape en déplaçant chaque point vers ce que serait, en moyenne, la donnée d'origine compte tenu de sa position. Ici, chaque « donnée » est un point du plan, et l'ensemble d'apprentissage dessine une forme ; le calcul de débruitage est fait exactement. Regardez la forme émerger du bruit.

Les mathématiques sont devenues un terrain d'essai privilégié de l'IA, car une démonstration se vérifie. Une première approche consiste à chercher des constructions : en 2023, FunSearch (Google DeepMind) fait évoluer des programmes, proposés par un modèle de langage et sélectionnés selon leur score, et trouve de nouveaux grands « ensembles sans ligne » en combinatoire. Voici le même principe d'évolution, sans modèle de langage, sur un problème posé par Erdős et Turán en 1936 : choisir le plus grand nombre d'entiers entre 1 et n sans que trois d'entre eux soient en progression arithmétique (comme 3, 7, 11). À chaque génération, on modifie au hasard un ensemble et l'on garde le meilleur.

Comment mesurer les progrès des agents d'IA ? L'organisation indépendante METR propose une mesure parlante : l'horizon temporel, c'est-à-dire la durée qu'il faut à un professionnel humain pour accomplir les tâches (surtout de programmation) que l'IA réussit une fois sur deux. Cet horizon double à intervalles réguliers. Le graphique reprend les valeurs publiées de 2023 à 2026. Prolonger une tendance est tentant mais risqué : réglez la période d'ajustement et un éventuel ralentissement, et voyez combien les projections divergent.