Du désordre des molécules à l'information des messages
Clausius a inventé le mot en 1865 pour mesurer ce qui se perd quand la chaleur circule. Boltzmann a montré qu'il s'agissait d'un comptage : le nombre de façons microscopiques de réaliser ce que l'on observe. Shannon a retrouvé la même formule en cherchant combien de bits il faut pour transmettre un message. Les cinq planches qui suivent parcourent ce chemin, puis montrent où l'entropie sert aujourd'hui : compression, mots de passe, écologie, apprentissage automatique, trous noirs et coût physique du calcul.
Une boîte est coupée en deux par une ligne imaginaire. Les molécules se déplacent librement. L'état macroscopique se résume à un seul nombre : combien sont à gauche. Mais un même nombre n peut être réalisé de W = C(N, n) façons différentes, selon quelles molécules sont à gauche. Lancez l'expérience depuis « tout à gauche » et regardez l'entropie monter.
Ce qu'il faut retenir. L'état « moitié-moitié » n'est pas privilégié par une force : il est simplement réalisé par immensément plus de configurations que « tout à gauche », qui n'en compte qu'une seule. Boltzmann définit l'entropie comme le logarithme de ce nombre, S = k ln W, avec k = 1,380649·10⁻²³ J/K. Le logarithme rend l'entropie additive : deux systèmes indépendants ont W₁·W₂ configurations, donc S₁ + S₂.
La formule de Stirling donne ln C(N, N/2) ≈ N ln 2 − ½ ln(πN/2) ; l'écart restant vaut environ −1/(4N), d'où la ligne « écart × 4N » qui tend vers −1. Avec N = 400, le retour spontané de toutes les molécules à gauche a une probabilité de 2⁻⁴⁰⁰ : le second principe est une loi statistique, mais d'une certitude écrasante dès que N est grand. Une mole contient 6·10²³ molécules.
Deux blocs de températures différentes sont reliés par un barreau conducteur. Pour chaque petite quantité de chaleur δQ reçue à la température T, Clausius ajoute δQ/T à l'entropie du bloc. Le bloc chaud perd de l'entropie, le froid en gagne davantage, car il reçoit la même chaleur à une température plus basse. Le bilan total est toujours positif. Cochez « film à l'envers » pour voir ce que la nature n'autorise pas.
Ce qu'il faut retenir. La chaleur reçue par un bloc de capacité C passant de T₀ à T vaut C(T − T₀), et la somme des δQ/T donne exactement C ln(T/T₀). Le calcul pas à pas le confirme ; son écart est divisé par cent quand le pas est divisé par dix, signe d'une méthode d'ordre deux. Le taux de production d'entropie vaut G(T_A − T_B)²/(T_A·T_B), un carré : il est positif quel que soit le sens de l'écart et ne s'annule qu'à l'équilibre.
L'énergie, elle, est parfaitement conservée dans les deux sens du film : le premier principe ne distingue pas le passé du futur. C'est l'entropie qui oriente le temps. Le film inversé respecte la conservation de l'énergie mais fait décroître l'entropie totale, ce qu'on n'observe jamais pour un système isolé.
Un événement de probabilité p apporte une surprise de −log₂ p bits : une pièce équilibrée donne 1 bit, un événement certain 0 bit. L'entropie est la surprise moyenne. Faites glisser le haut des barres pour modifier la loi ; en dessous, la machine tire des résultats au hasard et la moyenne des surprises converge vers H.
Ce qu'il faut retenir. H mesure le nombre moyen de questions oui/non nécessaires pour deviner le résultat, avec la meilleure stratégie. Elle est maximale, égale à log₂ n, pour la loi uniforme : on ne peut rien anticiper. L'écart log₂ n − H est exactement la divergence de Kullback-Leibler entre la loi et la loi uniforme, toujours positive (inégalité de Gibbs).
La courbe du bas illustre la loi des grands nombres appliquée à la surprise : la moyenne entre dans l'entonnoir H ± 2σ/√k. C'est le cœur du théorème de Shannon : une longue suite de k tirages a presque toujours une probabilité proche de 2−kH, et il suffit donc d'environ kH bits pour la désigner. La ressemblance avec Boltzmann n'est pas fortuite : pour N pièces équilibrées, ln W ≈ N ln 2, soit N bits.
La même grandeur sert à comprimer un fichier, à juger un mot de passe, à mesurer la diversité d'une forêt, à construire un arbre de décision et à décrire l'horizon d'un trou noir. Choisissez un onglet.
Le code de Huffman (1952) fusionne à chaque étape les deux symboles les plus rares ; les symboles fréquents se retrouvent près de la racine et reçoivent des codes courts. Aucun code n'est le début d'un autre, si bien que la suite de bits se relit sans séparateur (le décodage est vérifié). Le théorème de Shannon encadre la longueur moyenne : H ≤ L < H + 1. Aucun codage symbole par symbole ne peut descendre sous H. Les formats ZIP, PNG ou JPEG utilisent ce principe en dernière étape.
Entropie d'un mot de passe. Un mot de L caractères tirés vraiment au hasard dans un alphabet de A symboles a AL possibilités, soit H = L·log₂ A bits. Chaque bit supplémentaire double le travail de l'attaquant, qui doit en moyenne essayer la moitié des possibilités. Une phrase de passe à la Diceware tire des mots dans une liste de 7 776 = 6⁵ mots, soit 12,925 bits par mot. Attention : un mot choisi par un humain (prénom, date, « Azerty1! ») n'est pas tiré au hasard, et son entropie réelle est bien plus faible que ne l'indique ce calcul.
L'indice de Shannon en écologie. Les écologues calculent H′ = −Σ pᵢ ln pᵢ (en logarithme népérien) sur les proportions des espèces. Son exponentielle eH′ est le nombre effectif d'espèces : une communauté de huit espèces dominée par l'une d'elles « vaut » autant qu'une communauté équilibrée de trois ou quatre. L'équitabilité de Pielou J = H′/ln S vaut 1 pour une communauté parfaitement équilibrée. L'indice de Simpson inverse 1/Σpᵢ² est toujours inférieur ou égal à eH′, lui-même inférieur ou égal à S.
Sur un échantillon de n individus, l'estimation directe sous-évalue H′ en moyenne ; la correction de Miller-Madow ajoute (Sobs − 1)/(2n). Elle corrige ce biais systématique, pas le hasard propre à chaque échantillon, souvent plus grand : le bouton « Nouvel échantillon » le montre. Les espèces rares échappent facilement au comptage.
Le gain d'information. Ce jeu de 14 journées, popularisé par Ross Quinlan (algorithme ID3, 1986), indique si l'on a joué au tennis selon la météo. L'incertitude initiale vaut H = 0,940 bit (9 oui, 5 non). Poser une question découpe les exemples en groupes ; l'entropie moyenne des groupes, pondérée par leur taille, est plus faible. La différence est le gain d'information. L'algorithme choisit la question au gain maximal, ici l'état du ciel, puis recommence dans chaque branche. Les forêts aléatoires et la fonction de coût « entropie croisée » des réseaux de neurones reposent sur la même idée.
L'entropie de Bekenstein-Hawking. Un trou noir possède une entropie proportionnelle à l'aire de son horizon, et non à son volume : S = k·A/(4 ℓP²), où ℓP = √(Għ/c³) ≈ 1,6·10⁻³⁵ m est la longueur de Planck. Chaque carré de deux longueurs de Planck de côté porte exactement un nat (une unité k) d'entropie. Comme le rayon de Schwarzschild est proportionnel à la masse, S croît comme M² : doubler la masse quadruple l'entropie. Un trou noir d'une masse solaire a une entropie d'environ 10⁷⁷ k, bien supérieure à celle du Soleil lui-même, et une température de Hawking de soixante milliardièmes de kelvin, d'autant plus basse que le trou est massif.
En 1867, Maxwell imagine un être minuscule posté à une trappe entre deux compartiments. Il laisse passer vers la droite les molécules rapides et vers la gauche les lentes. Sans fournir de travail, il refroidit la gauche, réchauffe la droite et fait baisser l'entropie du gaz. Le second principe serait-il violé ? Ce gaz de disques durs est simulé collision par collision.
La solution tient à l'information. Pour décider, le démon doit mesurer chaque molécule qui approche et consigner sa décision : un registre de B bits. Multiplié par k ln 2, ce registre dépasse largement la baisse d'entropie du gaz, et le bilan affiché reste positif. Comme le second principe lui-même pour un si petit système, cette inégalité vaut en moyenne : tout au début, quand le registre ne compte que quelques bits, une fluctuation peut la mettre brièvement en défaut. Le registre est en partie prévisible (la trappe reste plus souvent fermée qu'ouverte) ; sa taille après compression optimale est aussi affichée. Szilard (1929) a relié information et entropie ; Landauer (1961) a montré que c'est l'effacement d'un bit qui coûte au minimum k T ln 2 d'énergie dissipée, soit 2,87·10⁻²¹ J à 300 K ; Bennett (1982) en a conclu que le démon, dont la mémoire est finie, doit un jour effacer ses notes et paie alors la facture.
Décochez le démon : la trappe reste ouverte, les températures se rejoignent et l'entropie du gaz remonte vers sa valeur initiale. Le principe de Landauer a été vérifié expérimentalement en 2012 avec une bille piégée par laser. Il fixe une limite physique à la consommation des ordinateurs : chaque information détruite réchauffe l'Univers.