Probabilités

Variables aléatoires : fonction de répartition et densité

Comment décrire complètement un nombre dont on ignore la valeur.

Une variable aléatoire est un nombre qui dépend du hasard : la somme de deux dés, la durée de vie d’une ampoule, la taille d’une personne tirée au sort. On ne connaît pas sa valeur à l’avance, mais on peut décrire comment elle se répartit. Un seul outil suffit dans tous les cas : la fonction de répartition F(x) = P(X ≤ x), qui donne la probabilité que la variable ne dépasse pas x. Quand la variable prend des valeurs « continues », on utilise aussi la densité f, dont les aires donnent les probabilités.

Notion	Variable discrète	Variable à densité
Ce qu’on donne	les probabilités P(X = k) de chaque valeur	une densité f ≥ 0, d’aire totale 1
Répartition F(x) = P(X ≤ x)	somme des P(X = k) pour k ≤ x : un escalier	aire sous f à gauche de x : une courbe continue
P(a < X ≤ b)	F(b) − F(a), dans les deux cas
P(X = x)	hauteur de la marche en x	toujours 0 : seule une aire a une probabilité
Passer de l’une à l’autre	P(X = k) = saut de F en k	f = F′, et F(x) = ∫ f(t) dt de −∞ à x

Une variable aléatoire est une fonction

Malgré son nom, une variable aléatoire n’est ni variable ni aléatoire : c’est une fonction qui attache un nombre à chaque issue de l’expérience. Avec deux dés, il y a 36 issues également probables (à gauche) ; la variable « somme » donne 7 à six d’entre elles. Regrouper les issues selon la valeur obtenue, c’est construire la loi de la variable (à droite) : la liste des valeurs possibles et de leurs probabilités.

Touchez une barre (ou une case) : les issues qui donnent cette valeur s’allument. Cet ensemble d’issues s’appelle l’image réciproque {X = k}, et sa probabilité est la hauteur de la barre. Les points orange sont les fréquences observées pendant les lancers.

Variable X

Valeurs possibles de X—

Valeur choisie : P(X = k)—

Contrôle : somme des probabilités—

Espérance E(X) = Σ k · P(X = k)—

Moyenne observée—lancez les dés

La même expérience porte autant de variables qu’on veut : somme, maximum, écart… Chacune range les 36 issues autrement et a donc sa propre loi. Toutes les probabilités viennent pourtant du même endroit : le décompte des issues dans Ω. C’est la définition moderne de Kolmogorov (1933) : une variable aléatoire est une fonction définie sur l’univers, et sa loi est la façon dont elle transporte les probabilités de Ω vers les nombres.

La fonction de répartition d’une loi discrète : un escalier

La fonction de répartition répond à la question « quelle est la probabilité que X ne dépasse pas x ? », pour tout nombre réel x, même s’il n’est pas une valeur possible. Pour une loi discrète, F reste constante entre deux valeurs possibles, puis fait un saut égal à P(X = k) en chaque valeur k : elle monte en escalier de 0 à 1. En chaque marche, F prend la valeur du haut (point plein) : c’est le « ≤ » de la définition.

En haut, la loi P(X = k) ; en bas, la fonction de répartition. Le trait rouge vertical suit le curseur x. Les barres rouges et le crochet rouge montrent l’intervalle ]a ; b] : la somme des barres est exactement la hauteur du crochet. En orange, la répartition observée sur les tirages.

Loi n p

x a b

F(x) = P(X ≤ x)—

P(a < X ≤ b) = F(b) − F(a)—

Contrôle : somme directe des barres de ]a ; b]—

Contrôle de la loi—

Répartition observée : plus grand écart Dₙ—tirez des valeurs

Trois propriétés caractérisent toutes les fonctions de répartition : F croît, part de 0 en −∞ et arrive à 1 en +∞, et elle est continue à droite (le point plein est en haut de chaque marche). Inversement, toute fonction qui a ces trois propriétés est la répartition d’une variable aléatoire. Observez aussi la répartition orange : son écart maximal Dₙ avec F diminue comme 1/√n, de sorte que √n·Dₙ reste de l’ordre de 1 (théorème de Glivenko-Cantelli et loi de Kolmogorov).

La densité, limite des histogrammes

Une durée, une taille, une masse peuvent prendre une infinité continue de valeurs. La probabilité d’une valeur exacte est alors nulle : P(X = 1,000000…) = 0. On regarde plutôt de petits intervalles. Tirons beaucoup de valeurs et faisons un histogramme à l’échelle de densité : chaque barre a pour hauteur la fréquence de sa classe divisée par la largeur h de la classe, de sorte que son aire est la fréquence. Quand le nombre de tirages grandit et que les classes s’affinent, l’histogramme se rapproche d’une courbe : la densité f.

Barres bleues : histogramme des tirages ; courbe verte : densité exacte. Les traits gris marquent la hauteur moyenne exacte de chaque classe, (F(droite) − F(gauche)) / h : l’écart des barres à ces traits est le bruit des tirages, l’écart de ces traits à la courbe est le biais dû à la largeur des classes.

Loi Nombre de classes

Tirages0

Aire des barres contre F(fin) − F(début)—

Contrôle : aire totale sous f (Simpson)—doit valoir 1 : c’est la probabilité totale

Bruit : plus grand écart barre / hauteur exacte—

Biais : plus grand écart hauteur exacte / f—

Pourquoi P(X = x) = 0 alors que f(x) n’est pas nulle

La densité n’est pas une probabilité : c’est une probabilité par unité de longueur. La probabilité de tomber dans [x₀ ; x₀ + δ] vaut à peu près f(x₀)·δ ; elle tend vers 0 avec δ, mais le rapport P/δ tend vers f(x₀). Le graphique mesure l’écart entre ce rapport et f(x₀) pour δ allant de 1 à 10⁻¹².

Échelles logarithmiques. Bleu : |P(x₀ < X ≤ x₀ + δ)/δ − f(x₀)|. Pointillé gris : droite de pente 1. À droite du graphique, le calcul en virgule flottante finit par dominer : F(x₀ + δ) − F(x₀) perd ses chiffres significatifs.

Point x₀

f(x₀)—

P(x₀ < X ≤ x₀ + δ) pour δ = 10⁻³—

Pente mesurée de l’écart (δ de 10⁻² à 10⁻⁴)—

Contrôle : écart / δ contre f′(x₀) / 2—

Une densité peut dépasser 1 — la loi bêta (2 ; 5) monte à 2,46 — car ce n’est pas une probabilité mais une concentration. Seules ses aires sont des probabilités, et l’aire totale vaut toujours 1. L’histogramme se trompe de deux façons : par le hasard des tirages (bruit, qui diminue quand on tire plus) et par la largeur des classes (biais, qui diminue quand on les affine). Affiner trop les classes sans tirer davantage fait remonter le bruit.

De la densité à la répartition, et retour

Pour une variable à densité, F(x) est l’aire sous la courbe de f à gauche de x. Réciproquement, la pente de F en x est f(x) : F monte vite là où la densité est forte, et reste presque plate là où elle est faible. Les deux graphiques sont donc deux lectures de la même information, reliées par l’intégrale et la dérivée. La répartition permet aussi de lire les quantiles : la médiane est la valeur où F atteint 1/2.

En haut, la densité f ; en bas, la fonction de répartition F, sur le même axe horizontal. En mode « F(x) », la tangente rouge à F a pour pente f(x), la hauteur du trait vert en haut.

Loi Lecture

x a b

F(x) par la formule—

Contrôle : aire sous f de −∞ à x (Simpson)—

Pente de F mesurée en x—

P(a < X ≤ b) = F(b) − F(a)—

Quartiles Q₁ · médiane · Q₃—

« F′ = f » est le théorème fondamental de l’analyse appliqué aux probabilités. Là où f a un saut (bords de la loi uniforme, origine de la loi exponentielle), F a un angle et n’est pas dérivable : la densité n’est définie qu’« à un point près », ce qui ne change aucune aire. La loi de Cauchy montre enfin qu’une densité très ordinaire peut avoir des queues si épaisses que l’espérance n’existe pas, alors que la médiane et les quartiles existent toujours, puisqu’ils se lisent sur F.

Signature — la fonction de répartition fabrique le hasard

Retournons la fonction de répartition : si U est un nombre tiré uniformément entre 0 et 1, alors X = F⁻¹(U) suit exactement la loi de répartition F. C’est ainsi que les ordinateurs fabriquent n’importe quelle loi à partir d’un seul générateur uniforme. Cette méthode fonctionne même pour des lois qui n’ont pas de densité : une loi mêlant un saut et une pente, ou l’étonnant « escalier du diable » de Cantor. C’est la preuve que la répartition est l’outil le plus général : elle existe toujours, alors que la densité peut manquer.

Chaque bille part de l’axe vertical à une hauteur u tirée uniformément entre 0 et 1, file horizontalement jusqu’à la courbe de F, puis tombe à l’abscisse x = F⁻¹(u). Les billes s’accumulent en un histogramme (bleu) qui reproduit la densité (vert). Là où F est raide, beaucoup de hauteurs u mènent à peu de place : les billes s’entassent.

Loi

Valeurs fabriquées0

Écart à F : √n · Dₙ (Kolmogorov)—au-delà de 1,36, le test rejetterait la loi au seuil de 5 %

Contrôle : F(X) est-elle uniforme ? (χ², 10 classes)—valeur attendue 9 ± 4,2 environ

Moyenne des valeurs contre l’espérance—

Un automobiliste arrive à un feu au hasard. Avec la probabilité p₀, le feu est vert et l’attente X est nulle ; sinon le feu est rouge et il attend une durée uniforme entre 0 et T. La répartition fait un saut de hauteur p₀ en 0, puis monte en ligne droite : cette loi n’est pas discrète (une infinité de valeurs possibles) et n’a pas de densité (la masse p₀ posée en un seul point ne peut pas être une aire).

En haut, la répartition avec son saut ; en bas, les attentes simulées par la même méthode d’inversion : la flèche rouge représente la masse en 0, l’histogramme la partie continue.

Feu vert à l’arrivée p₀ Durée du rouge T

P(X = 0) : hauteur du saut de F—

Espérance (1 − p₀) · T / 2—

Ce que vaudrait l’« aire » de la partie continue—il manque p₀ : aucune densité ne décrit cette loi

Prenons [0 ; 1], ôtons le tiers central, puis le tiers central de chacun des deux morceaux restants, et ainsi de suite. Ce qui reste est l’ensemble de Cantor : il contient une infinité de points, mais sa longueur totale est nulle. Choisissons un point de cet ensemble « au hasard », en tirant à pile ou face chacun de ses chiffres en base 3 (0 ou 2). Sa fonction de répartition est continue — aucune valeur n’a de probabilité positive —, elle monte de 0 à 1, et pourtant elle est plate presque partout : sa dérivée est nulle sauf sur un ensemble de longueur nulle.

En haut, l’escalier du diable (bleu) et la répartition des points tirés (orange). En bas, les points tirés, regroupés dans les morceaux qui restent. Le zoom ×3ᵐ montre la figure sur [0 ; 3⁻ᵐ] : elle est identique à elle-même, à l’échelle 2⁻ᵐ en hauteur.

Zoom m

F(1/4) calculée chiffre à chiffre—valeur exacte connue : 1/3

Contrôle d’autosimilarité : max |F(x/3) − F(x)/2|—sur 2 000 valeurs de x au hasard

Longueur ôtée après n étapes : 1 − (2/3)ⁿ—

Points tirés : √n · Dₙ—tirez des points

La méthode d’inversion marche avec l’« inverse généralisé » F⁻¹(u) = plus petit x tel que F(x) ≥ u, qui existe pour toute fonction de répartition : escalier, courbe, saut mêlé de pente, ou escalier du diable. Le contrôle χ² vérifie l’autre sens : si X a pour répartition continue F, alors F(X) est uniforme entre 0 et 1. Voilà pourquoi les probabilistes définissent une loi par sa répartition : la densité n’est qu’un cas particulier commode, réservé aux lois qui n’ont ni saut ni partie « fractale ».

Repères historiques

1657Christiaan Huygens, dans De ratiociniis in ludo aleae, calcule la valeur d’un jeu de hasard : c’est l’espérance d’une variable aléatoire, avant que la notion ait un nom.
1733Abraham de Moivre obtient la courbe en cloche comme limite de la loi binomiale : première densité continue de l’histoire des probabilités.
1809–1812Gauss et Laplace font de la loi normale la loi des erreurs de mesure ; Laplace manipule couramment des densités et leurs intégrales.
1883–1884Georg Cantor étudie l’ensemble triadique qui porte son nom ; la fonction associée, plate presque partout, deviendra l’exemple type d’une répartition sans densité.
1902Henri Lebesgue publie sa théorie de la mesure et de l’intégrale, qui donnera un cadre rigoureux à la notion de densité.
1925Paul Lévy, dans son Calcul des probabilités, place la fonction de répartition au centre de l’étude des lois.
1933Andreï Kolmogorov définit une variable aléatoire comme une fonction mesurable sur l’univers ; la même année, Glivenko et Cantelli montrent que la répartition observée converge vers la vraie, et Kolmogorov donne la loi de l’écart √n·Dₙ.
1946–1951Avec les premiers calculs de Monte-Carlo, John von Neumann et ses collègues décrivent comment fabriquer des lois quelconques à partir de nombres uniformes, par inversion ou par rejet.

Ce qu’il faut retenir

Une variable est une fonction

Elle attache un nombre à chaque issue. Sa loi dit comment elle transporte les probabilités de l’univers vers les nombres.

La répartition existe toujours

F(x) = P(X ≤ x) croît de 0 à 1 et est continue à droite. Elle décrit complètement la loi, et P(a < X ≤ b) = F(b) − F(a).

La densité est une pente

Quand elle existe, f = F′ et les probabilités sont des aires sous f. Elle peut dépasser 1, et P(X = x) = 0 pour tout x.

Pour aller plus loin

Décomposition de Lebesgue. Toute fonction de répartition s’écrit comme un mélange de trois morceaux : une partie en escalier (les sauts, planche 2), une partie à densité (planches 3 et 4) et une partie « singulière » continue mais sans densité (l’escalier du diable). La loi de l’attente au feu mélange les deux premières.

Changement de variable. Si Y = g(X) avec g croissante, alors F_Y(y) = F_X(g⁻¹(y)) : il suffit de transporter la répartition. La densité, elle, se multiplie par la dérivée de g⁻¹ ; c’est exactement ce que fait la méthode d’inversion de la planche 5 avec X = F⁻¹(U).

Espérance et répartition. Pour une variable positive, E(X) est l’aire entre la courbe de F et la droite y = 1 : E(X) = ∫ (1 − F(x)) dx sur [0 ; +∞[. Avec la loi exponentielle de paramètre 1, cette aire vaut 1.