Résumé — Sommes de variables aléatoires et loi des grands nombres

Additionner les points de deux dés, faire la moyenne des gains sur cent parties, voir une binomiale comme une somme de $0$ et de $1$ : ce chapitre apprend à calculer l’espérance et la variance d’une somme de variables aléatoires — souvent sans jamais déterminer la loi de cette somme. Et il se termine en apothéose par la loi des grands nombres, le théorème qui explique pourquoi les fréquences observées se rapprochent des probabilités.

La linéarité de l’espérance

Pour toutes variables aléatoires $X$ et $Y$ — indépendantes ou non — et tout réel $a$ :

$E(X + Y) = E(X) + E(Y) \qquad E(aX) = a\,E(X)$

C’est un outil très puissant : il donne l’espérance d’une variable sans déterminer sa loi. Exemple : pour la somme $S$ de deux dés équilibrés, inutile de calculer les probabilités des onze valeurs de $2$ à $12$ — par linéarité, $E(S) = 3{,}5 + 3{,}5 = 7$.

La variance : additive seulement si indépendance

Dans le cadre d’une succession d’épreuves indépendantes (chaque variable dépend d’une épreuve différente), les variables sont indépendantes, et on admet alors :

$V(X + Y) = V(X) + V(Y) \qquad \text{et pour tout réel } a : \quad V(aX) = a^2\,V(X)$

Pour l’écart type, $\sigma(aX) = |a|\,\sigma(X)$ — mais attention, on additionne les variances, jamais les écarts types.

L’exemple fondamental : la loi binomiale

Si $X$ suit la loi binomiale $\mathcal{B}(n\,;\,p)$, alors $X = X_1 + X_2 + \cdots + X_n$, somme de $n$ variables de Bernoulli indépendantes de paramètre $p$ ($X_i$ vaut $1$ si la $i$-ème épreuve est un succès, $0$ sinon). Comme $E(X_i) = p$ et $V(X_i) = p(1 - p)$, la linéarité et l’additivité donnent immédiatement :

$E(X) = np \qquad V(X) = np(1 - p)$

C’est une démonstration à connaitre — et elle illustre toute la philosophie du chapitre : décomposer une variable compliquée en somme de variables simples.

Échantillon : somme et moyenne

Un échantillon de taille $n$ d’une variable aléatoire $X$ est une liste $(X_1\,;\,\ldots\,;\,X_n)$ de variables indépendantes et de même loi que $X$. On étudie la somme $S_n = X_1 + \cdots + X_n$ et la moyenne $M_n = \dfrac{S_n}{n}$.

La moyenne a la même espérance que $X$, mais une variance divisée par $n$ : plus l’échantillon grandit, plus $M_n$ se resserre autour de $E(X)$. Toute la fin du chapitre quantifie ce resserrement.

L’inégalité de Bienaymé-Tchebychev

Pour une variable aléatoire $X$ et tout réel $\delta > 0$ :

$P\big(|X - E(X)| \geq \delta\big) \leq \frac{V(X)}{\delta^2}$

En français : la probabilité que $X$ s’écarte de son espérance d’au moins $\delta$ est majorée par $\dfrac{V(X)}{\delta^2}$. L’écart type est l’unité naturelle pour mesurer ces écarts : en prenant $\delta = 2\sigma$, la borne vaut $\dfrac{1}{4}$ ; pour $\delta = 3\sigma$, elle vaut $\dfrac{1}{9}$ — quelle que soit la loi de $X$. Les grands écarts sont improbables.

L’inégalité de concentration

En appliquant Bienaymé-Tchebychev à la moyenne $M_n$ d’un échantillon (d’espérance $E(X)$ et de variance $\dfrac{V(X)}{n}$), on obtient l’inégalité de concentration : pour tout $\delta > 0$,

$P\big(|M_n - E(X)| \geq \delta\big) \leq \frac{V(X)}{n\,\delta^2}$

Usage phare (c’est LA capacité attendue) : déterminer une taille d’échantillon garantissant une précision $\delta$ avec un risque au plus $\alpha$ — il suffit de résoudre $\dfrac{V(X)}{n\,\delta^2} \leq \alpha$ en $n$.

La loi des grands nombres

Quand $n$ tend vers l’infini, le majorant $\dfrac{V(X)}{n\,\delta^2}$ tend vers $0$, d’où le théorème final :

pour tout $\delta > 0$, $P\big(|M_n - E(X)| \geq \delta\big)$ tend vers $0$ quand $n$ tend vers l’infini.

La moyenne d’un échantillon se concentre autour de l’espérance. Cas particulier historique : la fréquence d’un événement au fil de $n$ répétitions (moyenne de variables de Bernoulli) se rapproche de sa probabilité. C’est le « théorème d’or » de Jacques Bernoulli — le pont entre les statistiques (ce qu’on observe) et les probabilités (ce qu’on modélise), et la justification théorique de l’échantillonnage.

Les pièges classiques