Probabilités

Les fonctions caractéristiques et leurs applications

Une loi de probabilité peut se décrire autrement que par sa densité : par la façon dont elle fait tourner un point sur un cercle. Cette « empreinte » complexe, φ(t) = E[e^itX], existe pour toutes les lois, transforme les sommes en produits et donne la preuve la plus directe du théorème central limite. Cinq planches pour la voir, la calculer et s'en servir.

Définition en une phrase

La fonction caractéristique d'une variable aléatoire X est la moyenne du point e^itX, qui tourne sur le cercle unité d'un angle tX : φ_X(t) = E[e^itX] = E[cos tX] + i·E[sin tX].

Loi discrète

φ(t) = Σ_k p_k e^itx_k

Loi à densité

φ(t) = ∫ e^itx f(x) dx

Ici i est le nombre complexe tel que i² = −1, et e^iθ = cos θ + i sin θ est le point du cercle unité d'angle θ. Pour une densité, φ est la transformée de Fourier de f. Cinq propriétés font sa force : elle existe toujours, puisque |e^itX| = 1 ; elle caractérise la loi (deux lois de même φ sont identiques) ; elle transforme la somme de variables indépendantes en produit, φ_X+Y = φ_X·φ_Y ; elle contient les moments dans ses dérivées en 0 ; et la convergence des φ équivaut à la convergence des lois (théorème de Lévy).

Planche	Question posée	Ce que l'on vérifie
1 · Le cercle qui tourne	Que représente φ(t) ?	Barycentre de points sur le cercle contre formules fermées
2 · Lois continues	À quoi ressemble φ pour les lois usuelles ?	Intégrale numérique contre formule ; largeur de f × largeur de φ constante
3 · Les moments	Que dit φ près de 0 ?	Moments par dérivation numérique ; la pointe de Cauchy
4 · Sommes et TCL	Pourquoi la cloche apparaît-elle ?	φ(t/√n)ⁿ → e^−t²/2 ; vitesse 1/√n ou 1/n mesurée
5 · Revenir à la loi	Peut-on retrouver la densité à partir de φ ?	Inversion de Fourier, phénomène de Gibbs, lois stables de Lévy

Le cercle qui tourne : φ(t) est un centre de gravité

Que représente φ(t) ? Prenons une loi discrète. Chaque valeur possible x est envoyée sur le cercle unité, au point d'angle t·x, avec un poids égal à sa probabilité. φ(t) est le centre de gravité de ces points pesants. Quand t = 0, tous les points sont en 1, donc φ(0) = 1. Quand t grandit, ils se dispersent sur le cercle et le centre de gravité se rapproche de 0.

Loi de X

Paramètre

Les valeurs de X placées sur le cercle aux angles t·x (disques bleus, aire proportionnelle à la probabilité) ; leur centre de gravité φ(t) (rouge) ; la trace de φ quand t a varié depuis 0 (violet).

Partie réelle (bleu), partie imaginaire (orange) et module |φ(t)| (violet pointillé) en fonction de t.

φ(t) par la somme Σ p_k e^itx_k—

φ(t) par la formule fermée · écart—

Module |φ(t)|, toujours ≤ 1—

φ(2π) − 1 (valeurs entières : retour au départ)—

E[X] retrouvée comme φ′(0)/i · valeur exacte—

Formule fermée utilisée—

Ce qu'il faut voir. Pour pile ou face, les deux points sont symétriques : leur centre de gravité reste sur l'axe réel et vaut cos t. Pour une loi symétrique, φ est toujours réelle. Pour un dé, φ(t) dessine une boucle qui revient exactement en 1 quand t = 2π, car tous les angles 2πk sont des tours complets : une loi à valeurs entières a une fonction caractéristique périodique. Au départ, le centre de gravité s'échappe de 1 dans la direction verticale à la vitesse E[X] : c'est la première des propriétés qui relient φ aux moments.

Lois continues : la densité et son empreinte

À quoi ressemble φ pour les lois usuelles ? Pour une densité f, φ(t) = ∫ e^itx f(x) dx mesure la part de f qui « vibre » à la fréquence t. On retrouve une règle d'or de l'analyse de Fourier : plus la densité est large, plus sa fonction caractéristique est étroite, et réciproquement, puisque φ_sX(t) = φ_X(st).

Loi

Échelle s

t pour le contrôle numérique

Densité f(x). Le segment orange marque l'écart interquartile, mesure de la largeur de la loi.

Fonction caractéristique : partie réelle (bleu), imaginaire (orange), module (violet pointillé). Le segment vert marque la largeur où |φ| = 1/2.

φ(t) par intégration numérique de e^itxf(x)—

φ(t) par la formule · écart—

Largeur de f (écart interquartile)—

Largeur de φ (demi-largeur où |φ| = 1/2)—

Produit des deux largeurs (indépendant de s)—

Décroissance de |φ| à l'infini—

Ce qu'il faut voir. La cloche de Gauss se transforme en cloche : e^−s²t²/2. C'est la seule loi qui garde sa forme. Faites varier s : la densité s'élargit, φ se resserre, et le produit des deux largeurs ne bouge pas. La régularité de f se lit dans la décroissance de φ : la densité uniforme, qui saute brusquement, a une φ = sin(st)/(st) qui ne décroît qu'en 1/t et oscille sans fin ; la densité de Laplace, qui a un angle en 0, donne 1/(1 + s²t²) ; la gaussienne, infiniment lisse, donne une décroissance foudroyante. Pour Cauchy, c'est l'inverse : e^−s|t| a une pointe en 0, signe que la loi n'a pas de moyenne. Seule l'exponentielle, non symétrique, a une partie imaginaire.

Les moments sont cachés près de t = 0

Que dit φ près de 0 ? Si X a des moments m_k = E[X^k], on peut développer e^itX = 1 + itX − t²X²/2 − … et prendre la moyenne : φ(t) = 1 + i m₁ t − m₂ t²/2 − i m₃ t³/6 + m₄ t⁴/24 + … Les moments sont les coefficients du développement de φ en 0 ; on les retrouve en dérivant : m_k = φ^(k)(0)/i^k.

Loi

Ordre du développement k

Partie réelle de φ (bleu) et de son développement d'ordre k (vert pointillé).

Partie imaginaire de φ (orange) et de son développement d'ordre k (vert pointillé). Pour Cauchy, les deux demi-tangentes en 0 (rouge) ne se raccordent pas.

m₁ = E[X] : dérivée numérique · exact—

m₂ = E[X²] : dérivée numérique · exact—

m₃ = E[X³] : dérivée numérique · exact—

m₄ = E[X⁴] : dérivée numérique · exact—

Variance m₂ − m₁² retrouvée—

Écart entre φ et le développement en t = 0,5—

Ce qu'il faut voir. Chaque ordre ajouté colle la courbe verte un peu plus loin autour de 0 : c'est un développement de Taylor dont les coefficients sont les moments. La dérivation numérique de φ en 0 retrouve m₁, m₂, m₃, m₄ (avec une précision qui se dégrade d'un ordre à l'autre, comme toute dérivation numérique). Pour l'exponentielle, les moments k! grandissent si vite que le développement ne converge que pour |t| < 1. Pour Cauchy, φ(t) = e^−|t| a une pente −1 à droite et +1 à gauche : φ n'est pas dérivable en 0, et c'est exactement dire que la loi n'a pas de moyenne.

Les sommes deviennent des produits : le théorème central limite

Pourquoi la cloche de Gauss apparaît-elle ? Prenons n variables indépendantes de même loi, de moyenne 0 et de variance 1, et leur somme réduite S_n/√n. Sa fonction caractéristique est un simple produit : φ_n(t) = φ(t/√n)ⁿ. Or près de 0, φ(u) ≈ 1 − u²/2, donc φ(t/√n)ⁿ ≈ (1 − t²/(2n))ⁿ → e^−t²/2, la fonction caractéristique de la loi normale. Le théorème de Lévy permet de conclure : la loi de S_n/√n tend vers la loi normale.

Loi des termes (moyenne 0, variance 1)

Nombre de termes n

φ(t/√n)ⁿ : partie réelle (bleu), imaginaire (orange), contre e^−t²/2 (vert pointillé).

Loi de S_n/√n : densité obtenue en inversant φ_n (bleu), 20 000 sommes simulées (violet), loi normale (vert pointillé).

Distance maximale entre φ_n et e^−t²/2 selon n, axes logarithmiques, pour les trois lois. La pente mesure la vitesse de convergence.

Distance maximale |φ_n − e^−t²/2| pour ce n—

Pente mesurée de la distance (log-log)—

Densité en 0 : par inversion de φ_n · formule exacte—

écart—

Densité normale en 0 : 1/√(2π)—

Asymétrie de S_n/√n, lue dans φ_n : E[X³]/√n—

Ce qu'il faut voir. Avec les densités, la loi d'une somme demande des convolutions répétées ; avec les fonctions caractéristiques, il suffit d'élever à la puissance n. La convergence vers e^−t²/2 se voit sur les courbes et se mesure : pour la loi uniforme et la loi bimodale, symétriques, l'écart diminue comme 1/n (pente −1) ; pour l'exponentielle, asymétrique, comme 1/√n (pente −1/2), parce que le terme en t³, qui porte l'asymétrie, ne disparaît qu'en 1/√n. La densité obtenue en inversant φ_n coïncide avec la formule exacte et avec la simulation : la bimodale perd ses deux bosses dès n = 3 ou 4.

Revenir à la loi : l'inversion, et des lois qu'on ne connaît que par φ

Peut-on retrouver la densité à partir de φ ? Oui, par la formule d'inversion de Fourier : f(x) = (1/2π) ∫ e^−itx φ(t) dt. C'est elle qui garantit qu'une fonction caractéristique détermine sa loi. Mieux : certaines lois n'ont pas de densité exprimable par une formule, et ne se définissent que par leur fonction caractéristique.

On calcule l'intégrale d'inversion en ne gardant que les fréquences |t| ≤ T, puis on fait grandir T. Les fréquences basses donnent l'allure générale ; les hautes ajoutent les détails fins.

Loi

Fréquence maximale T

Densité exacte (gris) et densité reconstruite avec les fréquences |t| ≤ T (bleu).

La fonction caractéristique utilisée : partie réelle (bleu), imaginaire (orange). La zone colorée est la portion |t| ≤ T conservée.

Densité au point test : reconstruite · exacte—

Plus grand écart loin des sauts et des angles—

Dépassement près d'un saut, en part de la hauteur du saut—

Valeur limite du dépassement : Si(π)/π − 1/2—

Paul Lévy a cherché en 1925 toutes les lois qui gardent leur forme quand on les additionne. Les lois symétriques de cette famille ont pour fonction caractéristique φ(t) = e^{−|t|^α}, avec 0 < α ≤ 2. Pour α = 2, c'est une loi normale ; pour α = 1, la loi de Cauchy ; pour les autres valeurs, il n'existe aucune formule pour la densité : on la calcule en inversant φ.

Indice de stabilité α

Densité obtenue par inversion de e^{−|t|^α} (bleu), 20 000 tirages simulés par la méthode de Chambers, Mallows et Stuck (violet), loi normale de même hauteur (gris pointillé).

Les queues : P(|X| > x) en échelles logarithmiques. Pour α < 2, une droite de pente −α : des valeurs extrêmes bien plus fréquentes qu'avec la loi normale.

Densité en 0 : inversion · formule Γ(1 + 1/α)/π—

P(|X| > 5) : par φ · simulation—

Stabilité : P(|X| > 5) pour (X₁ + … + X₁₀)/10^1/α (simulation)—

Exposant de queue estimé sur la simulation (Hill) · α—

Ce qu'il faut voir. L'inversion reconstruit la densité ; les sauts se paient cher : près d'une discontinuité, la reconstruction dépasse toujours d'environ 9 % de la hauteur du saut, aussi grand que soit T. C'est le phénomène de Gibbs, le même que pour les séries de Fourier. Les angles se reconstruisent sans dépassement, et la gaussienne presque instantanément, puisque sa φ est négligeable dès |t| = 8. Les lois stables montrent la puissance de l'outil : φ_{X₁+…+Xₙ}(t) = e^{−n|t|^α} = φ(n^1/αt), donc la somme de n copies, divisée par n^1/α, a exactement la même loi. Pour α < 2, la variance est infinie, le théorème central limite classique ne s'applique pas, et ce sont ces lois, et non la cloche, qui attirent les sommes.

✦

De Laplace à Lévy

1812Laplace, dans la Théorie analytique des probabilités, transforme les lois par des exponentielles complexes pour calculer la loi d'une somme d'erreurs et obtient la loi normale comme limite.

1822Joseph Fourier publie la Théorie analytique de la chaleur : décomposition des fonctions en fréquences et formule d'inversion.

1824Siméon Denis Poisson calcule la fonction caractéristique de la loi de Cauchy, e^−|t|, et montre ainsi que la moyenne n'y gagne rien en précision.

1901Alexandre Liapounov démontre le théorème central limite sous des conditions générales à l'aide des fonctions caractéristiques.

1925Paul Lévy, dans son Calcul des probabilités, établit le théorème de continuité et décrit les lois stables.

1932Salomon Bochner caractérise les fonctions qui sont des fonctions caractéristiques : ce sont les fonctions continues « définies positives » valant 1 en 0.

1949George Pólya donne un critère simple : toute fonction paire, convexe, décroissante vers 0 sur [0 ; ∞[ et valant 1 en 0 est une fonction caractéristique.

1951J. Gil-Pelaez publie une formule d'inversion donnant directement la fonction de répartition à partir de φ.

Une moyenne de points qui tournent

φ(t) = E[e^itX] est le centre de gravité de la loi enroulée sur le cercle. Elle existe toujours, vaut 1 en 0 et ne dépasse jamais 1 en module.

Les sommes deviennent des produits

φ_X+Y = φ_Xφ_Y pour des variables indépendantes : c'est la voie royale vers le théorème central limite et les lois stables.

Une empreinte complète

φ contient les moments (dérivées en 0), la régularité de la densité (décroissance à l'infini) et la loi entière (formule d'inversion).

Pour aller plus loin

Cousines. La fonction génératrice des probabilités E[s^X] (lois entières, comme pour les dés de Sicherman), la fonction génératrice des moments E[e^tX] (pas toujours finie) et la transformée de Laplace E[e^−pX] (variables positives) sont des variantes de la même idée ; la fonction caractéristique est la seule qui existe pour toutes les lois.

Changement d'échelle et de position. φ_aX+b(t) = e^ibtφ_X(at). Une translation ne change que la phase, une dilatation comprime l'axe des t.

Lois indéfiniment divisibles. Une loi est indéfiniment divisible si, pour tout n, φ est la puissance n-ième d'une autre fonction caractéristique : Poisson, normale, Cauchy, gamma, lois stables. La formule de Lévy-Khintchine les décrit toutes.

Dimension supérieure. Pour un vecteur aléatoire, φ(t) = E[e^{i⟨t, X⟩}], avec t vecteur : c'est l'outil de base des vecteurs gaussiens.

Pages voisines. La convolution (loi d'une somme), le théorème central limite, la transformée de Fourier, la loi de Cauchy.