Loi des grands nombres

Il existe deux versions différentes de la loi des grands nombres qui sont décrits ci-dessous. On les appelle la loi forte des grands nombres et la loi faible des grands nombres. Indiqué pour le cas où X1, X2, … est une suite infinie de variables aléatoires intégrables indépendantes et identiquement distribuées (I. I. D.) de Lebesgue avec la valeur attendue E(X1) = E(X2)=…,= µ, les deux versions de la loi de l’état qui – avec certitude – la moyenne de l’échantillon

X n = 1 n ( X 1 + ⋯ + X n ) {\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}

converge vers la valeur attendue:

(L’intégrabilité de Lebesgue de Xj signifie que la valeur attendue E(Xj) existe selon L’intégration de Lebesgue et est finie. Cela ne signifie pas que la mesure de probabilité associée est absolument continue par rapport à la mesure de Lebesgue.)

l’indépendance mutuelle des variables aléatoires peut être remplacée par l’indépendance par paires dans les deux versions de la loi.

la différence entre la version forte et la version faible concerne le mode de convergence affirmé., Pour l’interprétation de ces modes, voir Convergence des variables aléatoires.

Faible lawEdit

la loi faible des grands nombres (également appelée loi de Khinchin) indique que la moyenne de l’échantillon converge en Probabilité vers la valeur attendue

C’est − à-dire que, pour tout nombre positif ε, lim n → ∞ Pr (|x n-μ/> ε ) = 0. {\displaystyle \ lim _{n\à \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0.,}

en interprétant ce résultat, la loi faible indique que pour toute marge non nulle spécifiée, aussi petite soit-elle, avec un échantillon suffisamment grand, il y aura une très forte probabilité que la moyenne des observations soit proche de la valeur attendue; c’est-à-dire dans la marge.

comme mentionné précédemment, la loi faible s’applique dans le cas de variables aléatoires I. I. D., Mais elle s’applique également dans d’autres cas. Par exemple, la variance peut être différente pour chaque variable aléatoire de la série, en gardant la valeur attendue constante., Si les variances sont limitées, alors la loi s’applique, comme le montre Chebyshev dès 1867. (Si les valeurs attendues changent au cours de la série, nous pouvons simplement appliquer la loi à l’écart moyen par rapport aux valeurs attendues respectives. La loi stipule alors que cela converge en Probabilité vers zéro.) En fait, la preuve de Chebyshev fonctionne tant que la variance de la moyenne des n premières valeurs va à zéro comme n va à l’infini., Par exemple, supposons que chaque variable aléatoire dans la série suit une distribution Gaussienne de moyenne nulle, mais avec une variance égale à 2 n / log ⁡ ( n + 1 ) {\displaystyle 2n/\log(n+1)} , qui n’est pas délimitée. À chaque étape, la moyenne sera normalement distribuée (comme la moyenne d’un ensemble de variables normalement distribuées). La variance de la somme est égale à la somme des variances, ce qui est asymptotique pour n 2 / log ⁡ n {\displaystyle n^{2}/\log n} . La variance de la moyenne est donc asymptotique à 1 / log n n {\displaystyle 1 / \ log n} et va à zéro.,

Il existe également des exemples de loi faible s’appliquant même si la valeur attendue n’existe pas.

Strong lwedit

la loi strong des grands nombres indique que la moyenne de l’échantillon converge presque sûrement vers la valeur attendue

C’est-à-dire

Pr ( lim n → ∞ X n = μ ) = 1. {\displaystyle \ Pr\!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.}

cela signifie que la probabilité que, à mesure que le nombre d’essais n va à l’infini, la moyenne des observations converge vers la valeur attendue, est égale à un.,

la preuve est plus complexe que celle de la loi faible. Cette loi justifie l’interprétation intuitive de la valeur attendue (pour L’intégration de Lebesgue uniquement) d’une variable aléatoire échantillonnée à plusieurs reprises en tant que « moyenne à long terme ».

la convergence presque sûre est aussi appelée convergence forte de variables aléatoires. Cette version est appelée loi forte car les variables aléatoires qui convergent fortement (presque sûrement) sont garanties de converger faiblement (en Probabilité)., Cependant, la loi faible est connue pour tenir dans certaines conditions où la loi forte ne tient pas Et alors la convergence n’est que faible (en Probabilité). Voir # différences entre la loi faible et la loi forte.

la loi forte des grands nombres peut elle-même être considérée comme un cas particulier du théorème ergodique ponctuel.

la loi forte s’applique aux variables aléatoires indépendantes identiquement distribuées ayant une valeur attendue (comme la loi faible). Cela a été prouvé par Kolmogorov en 1930. Il peut également s’appliquer dans d’autres cas., Kolmogorov a également montré, en 1933, que si les variables sont indépendantes et distribuées de manière identique, alors pour que la moyenne converge presque sûrement sur quelque chose (cela peut être considéré comme une autre déclaration de la loi forte), il est nécessaire qu’elles aient une valeur attendue (et alors bien sûr la moyenne convergera presque sûrement sur cela).

Si les sommands sont indépendants mais pas distribués de manière identique, alors

X n-E → → A. S. 0 , {\displaystyle {\overline {X}}_{n}-\operatorname {E} {\big }\ {\xrightarrow {\text {a. s.,}}}\ 0,}

à condition que chaque Xk ait un second moment fini et

∑ k = 1 ∞ 1 K 2 Var cette déclaration est connue sous le nom de loi forte de Kolmogorov, voir par exemple Sen & Singer (1993, théorème 2.3.10).,

un exemple de série où la loi faible s’applique mais pas la loi forte est lorsque Xk est plus ou moins k / log log log log log k k {\displaystyle {\sqrt {k/\log \log \log K}}} (en commençant par K suffisamment grand pour que le dénominateur soit positif) avec une probabilité de 1/2 pour chacun. La variance de Xk est alors k /log log log log log k K. {\displaystyle k/\log \log \log k.} Kolmogorov forts de la loi ne s’applique pas parce que la somme partielle dans son critère jusqu’à k=n est asymptotique à journaux ⁡ n / log ⁡ journal ⁡ journal ⁡ n {\displaystyle \log n/\log \log \log n} et c’est sans bornes.,

Si nous remplaçons les variables aléatoires par des variables gaussiennes ayant les mêmes variances, à savoir k/log log log log log k k , {\displaystyle {\sqrt {k / \log \log \log k}},} alors la moyenne à tout moment sera également normalement distribuée. La largeur de la distribution de la moyenne tend vers zéro (écart-type asymptotique à 1 / 2 log log log log log n n {\displaystyle 1/{\sqrt {2\log \log \log n}}} ), MAIS POUR UN ε donné, il y a une probabilité qui ne va pas à zéro avec n, tandis que la moyenne quelque temps après le nième essai reviendra à ε., Puisque la largeur de la distribution de la moyenne n’est pas nulle, elle doit avoir une borne inférieure positive p(ε), ce qui signifie qu’il y a une probabilité d’au moins p(ε) Que la moyenne atteigne ε après n essais. Cela se produira avec la probabilité p(ε)/2 avant certains m qui dépendent de N. Mais même après m, il y a toujours une probabilité d’au moins p(ε) que cela se produise. (Cela semble indiquer que p (ε)=1 et la moyenne atteindra ε un nombre infini de fois.,)

différences entre la loi faible et la loi forte

la loi forte ne tient pas dans les cas suivants, mais la loi faible le fait.

1. Soit X une variable aléatoire distribuée exponentiellement avec le paramètre 1.,)e^{X}X^{-1}} n’a pas de valeur attendue selon le centre henri lebesgue conjointement à l’intégration, mais à l’aide de la convergence conditionnelle et l’interprétation de l’intégrale comme une intégrale de Dirichlet, ce qui est une mauvaise intégrale de Riemann, on peut dire:

E ( sin ⁡ ( X ) e X, X ) = ∫ 0 ∞ sin ⁡ ( x ) e x x e − x d x = π 2 {\displaystyle E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}} E ( 2 X ( − 1 ) X ) = ∑ 1 ∞ 2 x ( − 1 ) x x 2 − x = − ln ⁡ ( 2 ) {\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}

3., Si la fonction de répartition d’une variable aléatoire est

1 − F ( x ) = e 2 x ln ⁡ ( x ) , x ≥ e {\displaystyle 1-F(x)={\frac {e}{2x\ln(x)}},x\geq e} F ( x ) = e − 2 x ln ⁡ ( − x ) , x ≤ − e {\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e}, alors il n’a pas de valeur attendue, mais la faiblesse de la loi est vrai.

Loi uniforme des grands numérosmodifier

la loi uniforme des grands nombres énonce les conditions dans lesquelles la convergence se produit uniformément dans θ. Si

alors E est continu dans θ, et

sup θ ∈ Θ ‖ 1 n f i = 1 n f ( X i , θ ) − E → → A. s . 0., {\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} \right\|{\xrightarrow {\mathrm {un.s.} }}\ 0.}

ce résultat est utile pour dériver la cohérence d’une grande classe d’estimateurs (voir estimateur Extremum).,

loi des grands nombres de Borelmodifier

la loi des grands nombres de Borel, nommée D’après Émile Borel, stipule que si une expérience est répétée un grand nombre de fois, indépendamment dans des conditions identiques, alors la proportion de fois où un événement spécifié se produit approximativement est égale à la probabilité que l’événement se produise sur un essai particulier; plus le nombre de répétitions est grand, meilleure est l’approximation., Plus précisément, si E désigne L’événement en question, p sa probabilité d’occurrence, et Nn(E) le nombre de fois que E se produit dans les N premiers essais, alors avec la probabilité un,

N n ( E ) N → p comme n → ∞ . {\displaystyle {\frac {N_{n}(E)}{n}}\p{\text{ car }}n\to \infty .}

ce théorème rend rigoureuse la notion intuitive de probabilité en tant que fréquence relative à long terme de l’occurrence d’un événement. C’est un cas particulier de l’une des nombreuses lois plus générales des grands nombres en théorie des probabilités.

l’inégalité de Chebyshev., Soit X une variable aléatoire avec une valeur attendue finie μ et une variance finie non nulle σ2. Alors pour tout nombre réel k > 0,

Pr ( | X − m | ≥ k σ ) ≤ 1 k 2 . {\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}