Ley de los grandes números

Hay dos versiones diferentes de la ley de los grandes números que se describen a continuación. Se llaman la ley fuerte de los grandes números y la ley débil de los grandes números. Indicado para el caso donde X1, X2,… es una secuencia infinita de variables aleatorias integrables Lebesgue independientes e idénticamente distribuidas con el valor esperado E ( X1) = E(X2)=…,= µ, ambas versiones de la ley del estado que – con certeza – la media muestral

X n = 1 n ( X 1 + ⋯ + X n ) {\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}

converge al valor esperado:

(La integrabilidad de Lebesgue de Xj significa que el valor esperado e(Xj) existe de acuerdo con la integración de Lebesgue y es finito. Esto no significa que la medida de probabilidad asociada sea absolutamente continua con respecto a la medida de Lebesgue.)

la independencia mutua de las variables aleatorias puede ser reemplazada por la independencia por pares en ambas versiones de la ley.

la diferencia entre la versión fuerte y la débil se refiere al modo de convergencia que se afirma., Para la interpretación de estos modos, vea convergencia de variables aleatorias.

Débil lawEdit

la ley débil de los números grandes (también llamada Ley de Khinchin) establece que el promedio de la muestra converge en probabilidad hacia el valor esperado

Es decir, para cualquier número positivo ε,

lim n → ∞ Pr (|X n − μ | > ε ) = 0. {\displaystyle \lim _{n \ to \ infty } \ Pr\!\left (\, |{\overline {X}}_{n}-\mu/> \varepsilon \, \ right) = 0.,}

interpretando este resultado, la ley débil establece que para cualquier margen distinto de cero especificado, no importa cuán pequeño, con una muestra suficientemente grande habrá una probabilidad muy alta de que el promedio de las observaciones esté cerca del valor esperado; es decir, dentro del margen.

como se mencionó anteriormente, la ley débil se aplica en el caso de variables aleatorias i.i.d., pero también se aplica en algunos otros casos. Por ejemplo, la varianza puede ser diferente para cada variable aleatoria en la serie, manteniendo el valor esperado constante., Si las variaciones están limitadas, entonces la ley se aplica, como lo demostró Chebyshev ya en 1867. (Si los valores esperados cambian durante la serie, entonces simplemente podemos aplicar la ley a la desviación promedio de los respectivos valores esperados. La ley establece entonces que esto converge en Probabilidad a cero. De hecho, la prueba de Chebyshev funciona siempre y cuando la varianza del promedio de los primeros valores de n vaya a cero como n va a infinito., Como ejemplo, supongamos que cada variable aleatoria en la serie sigue una distribución gaussiana con media cero, pero con varianza igual a 2 n / log ⁡ ( n + 1 ) {\displaystyle 2n/\log(n+1)} , que no está acotada. En cada etapa, el promedio se distribuirá normalmente (como el promedio de un conjunto de variables normalmente distribuidas). La varianza de la suma es igual a la suma de las varianzas, que es asintótica a n 2 / log ⁡ n {\displaystyle n^{2}/\log n} . La varianza del promedio es por lo tanto asintótica a 1 / log ⁡ n {\displaystyle 1/\log n} y va a cero.,

también hay ejemplos de la aplicación de la ley débil a pesar de que el valor esperado no existe.

strong lawEdit

la ley fuerte de los números grandes establece que el promedio de la muestra converge casi seguramente al valor esperado

Es decir,

Pr ( lim n → ∞ X n = μ ) = 1. {\displaystyle \Pr\!\left (\lim _{n\to \infty }{\overline {X}}_{n}= \ mu \ right) = 1.}

lo que esto significa es que la probabilidad de que, como el número de ensayos n va al infinito, el promedio de las observaciones converge al valor esperado, es igual a uno.,

la prueba es más compleja que la de la ley débil. Esta ley justifica la interpretación intuitiva del valor esperado (solo para la integración de Lebesgue) de una variable aleatoria cuando se muestrea repetidamente como el «promedio a largo plazo».

la convergencia casi segura también se llama convergencia fuerte de variables aleatorias. Esta versión se llama la ley fuerte porque las variables aleatorias que convergen fuertemente (casi seguramente) están garantizadas para converger débilmente (en probabilidad)., Sin embargo, se sabe que la ley débil se mantiene en ciertas condiciones donde la ley fuerte no se mantiene y entonces la convergencia solo es débil (en probabilidad). Ver # diferencias entre la ley débil y la ley fuerte.

la ley fuerte de los grandes números puede ser vista como un caso especial del teorema ergódico pointwise.

la ley fuerte se aplica a variables aleatorias independientes distribuidas idénticamente que tienen un valor esperado (como la ley débil). Esto fue demostrado por Kolmogorov en 1930. También puede aplicarse en otros casos., Kolmogorov también demostró, en 1933, que si las variables son independientes e idénticamente distribuidas, entonces para que el promedio converja casi seguramente en algo (esto puede considerarse otra declaración de la ley fuerte), es necesario que tengan un valor esperado (y luego, por supuesto, el promedio convergerá casi seguramente en eso).

si los sumandos son independientes pero no distribuidos idénticamente, entonces

x n – E ⁡ → A.s. 0 , {\displaystyle {\overline {X}}_{n}-\operatorname {E} {\big }\ {\xrightarrow {\text{a.s.,}}}\ 0,}

siempre que cada Xk tenga un segundo momento finito y

∑ k = 1 ∞ 1 K 2 Var ⁡ < ∞ . {\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} <\infty .}

esta declaración se conoce como la ley fuerte de Kolmogorov, Véase, por ejemplo, Sen & Singer (1993, Teorema 2.3.10).,

un ejemplo de una serie donde se aplica la ley débil pero no la ley fuerte es cuando Xk es más o menos k / log ⁡ log ⁡ log ⁡ k {\displaystyle {\sqrt {k/\log \log \log k}}} (comenzando en K suficientemente grande para que el denominador sea positivo) con probabilidad 1/2 para cada uno. La varianza de Xk es entonces k / log ⁡ log ⁡ log ⁡ k . {\displaystyle K / \ log \ log \ log K.} La Ley fuerte de Kolmogorov no se aplica porque la suma parcial en su criterio hasta k=n es asintótica a log ⁡ n / log ⁡ log ⁡ log ⁡ n {\displaystyle \log n/\log \log \log n} y esto es ilimitado.,

si reemplazamos las variables aleatorias con variables gaussianas que tienen las mismas varianzas, a saber, k / log ⁡ log ⁡ log ⁡ k, {\displaystyle {\sqrt {k / \log \log \ log k}},} entonces el promedio en cualquier punto también se distribuirá normalmente. El ancho de la distribución del promedio tenderá hacia cero (desviación estándar asintótica a 1 / 2 log ⁡ log ⁡ log ⁡ n {\displaystyle 1/{\sqrt {2\log \log \log n}}} ), pero para un ε dado, hay una probabilidad que no va a cero con n, mientras que el promedio en algún momento después del enésimo ensayo volverá a ε., Dado que el ancho de la distribución del promedio no es cero, debe tener un límite inferior positivo p(ε), lo que significa que hay una probabilidad de al menos p(ε) de que el promedio alcance ε después de los ensayos n. Sucederá con probabilidad p(ε)/2 antes de algún m que depende de n. pero incluso después de m, todavía hay una probabilidad de al menos p (ε) de que suceda. (Esto parece indicar que p(ε)=1 y el promedio alcanzará ε un número infinito de veces.,)

diferencias entre la ley débil y la ley fuerte

la ley fuerte no se aplica en los siguientes casos, pero la ley débil sí.

1. Sea X una variable aleatoria distribuida exponencialmente con el parámetro 1.,)e^{X}X^{-1}} no tiene valor esperado de acuerdo a la integración de Lebesgue, pero el uso de convergencia condicional y la interpretación de la integral como una integral de Dirichlet, que es impropia de Riemann integral, podemos decir:

E ( pecado ⁡ ( X ) e X X ) = ∫ 0 ∞ pecado ⁡ ( x ) e x x e − x d x = π 2 {\displaystyle E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}} E ( 2 X ( − 1 ) X X ) = ∑ 1 ∞ 2 x ( − 1 ) x x 2 − x = − ln ⁡ ( 2 ) {\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}

3., Si la función de distribución acumulativa de una variable aleatoria es

1 − F ( x ) = e 2 x ln ⁡ ( x ) , x ≥ e {\displaystyle 1-F(x)={\frac {e}{2x\ln(x)}},x\geq e} F ( x ) = e − 2 x ln ⁡ ( − x ) , x ≤ − e {\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e}, entonces no tiene valor esperado, pero la ley débiles es cierto.

Uniform law of large numbersEdit

The uniform law of large numbers states the conditions under which the convergence happens uniformly in θ. Si

entonces E es continua en θ, y

sup θ ∈ Θ 1 1 n ∑ i = 1 N f ( X i , θ ) − E ⁡ → → a . s . 0., {\displaystyle \SUP _{\theta \ in \ Theta } \ left||{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} \right\ / {\xrightarrow {\mathrm {A.s.} }}\ 0.}

Este resultado es útil para derivar consistencia de una clase grande de estimadores (ver estimador extremo).,

la Ley de números grandes de Boreleditar

La Ley de números grandes de Borel, llamada así por Émile Borel, establece que si un experimento se repite un gran número de veces, independientemente bajo condiciones idénticas, entonces la proporción de veces que ocurre cualquier evento especificado es aproximadamente igual a la probabilidad de que ocurra el evento en cualquier ensayo en particular; cuanto mayor sea el número de repeticiones, mejor tiende a ser la aproximación., Más precisamente, si E denota el evento en cuestión, p Su probabilidad de ocurrencia, y Nn(E) el número de veces que e ocurre en los primeros n ensayos, entonces con probabilidad uno,

N n ( E ) n → p como n → ∞ . {\displaystyle {\frac {N_{n} (E)}{n}}\TO p{\text{ as }}n\to \infty .}

este teorema hace rigurosa la noción intuitiva de probabilidad como la frecuencia relativa a largo plazo de la ocurrencia de un evento. Es un caso especial de cualquiera de varias leyes más generales de los grandes números en la teoría de la probabilidad.

la desigualdad de Chebyshev., Sea X una variable aleatoria con valor esperado finito μ y varianza finita distinta de cero σ2. Entonces para cualquier número real k > 0,

Pr (|X − μ / ≥ k σ ) ≤ 1 K 2 . {\displaystyle \ Pr (|X-\mu / \geq k\sigma )\leq {\frac {1}{k^{2}}}.}