Legea numerelor mari

există două versiuni diferite ale legii numerelor mari care sunt descrise mai jos. Ele sunt numite legea puternică a numerelor mari și Legea slabă a numerelor mari. A declarat pentru cazul în care X1, X2, … este o secvență infinită de independente și distribuite identic (i.i.d.) Lebesgue variabile aleatoare integrabile cu valoarea așteptată E(X1) = e(X2) = …,= µ, ambele versiuni de legea statului care – cu certitudine – proba medie

X n = 1 n ( X 1 + ⋯ + X n ) {\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}

converge la valoarea așteptată:

(Lebesgue de integrabilitate Xj înseamnă că valoarea estimată E(Xj) există potrivit Lebesgue de integrare și este finită. Aceasta nu înseamnă că măsura de probabilitate asociată este absolut continuă în ceea ce privește măsura Lebesgue.independența reciprocă a variabilelor aleatorii poate fi înlocuită cu independența perechilor în ambele versiuni ale legii.

diferența dintre versiunea puternică și cea slabă se referă la modul de convergență afirmat., Pentru interpretarea acestor moduri, a se vedea convergența variabilelor aleatorii.

Slab lawEdit

slab legea numerelor mari (de asemenea, numit Khinchin e lege) prevede că proba medie converge în probabilitate către valoarea așteptată

Care este, pentru orice număr pozitiv ε,

lim n → ∞ Pr ( | X n − μ | > ε ) = 0. afișează stilul lim!\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0.,}

interpretând acest rezultat, legea slabă afirmă că pentru orice marjă diferită de zero specificată, indiferent cât de mică, cu un eșantion suficient de mare, va exista o probabilitate foarte mare ca media observațiilor să fie apropiată de valoarea așteptată; adică în cadrul marjei.așa cum am menționat anterior, legea slabă se aplică în cazul variabilelor aleatorii i.i.d., dar se aplică și în alte cazuri. De exemplu, variația poate fi diferită pentru fiecare variabilă aleatorie din serie, menținând valoarea așteptată constantă., Dacă variațiile sunt limitate, atunci se aplică legea, așa cum arată Chebyshev încă din 1867. (Dacă valorile așteptate se schimbă în timpul seriei, atunci putem aplica pur și simplu legea abaterii medii de la valorile așteptate respective. Legea afirmă apoi că aceasta converge în probabilitate la zero.) De fapt, dovada lui Chebyshev funcționează atât timp cât varianța mediei primelor valori n merge la zero, pe măsură ce n merge la infinit., Ca un exemplu, să presupunem că fiecare variabilă aleatoare din serie urmează o distribuție Gaussiană cu medie zero, dar cu varianța egală cu 2 n / log ⁡ ( n + 1 ) {\displaystyle 2n/\log(n+1)} , care nu este delimitată. În fiecare etapă, media va fi distribuită în mod normal (ca medie a unui set de variabile distribuite în mod normal). Variația sumei este egală cu suma varianțelor, care este asimptotic la n 2 / log ⁡ n {\displaystyle n^{2}/\log n} . Varianța mediei este, prin urmare, asimptotică la 1 / log ⁡ n {\displaystyle 1/\log n} și merge la zero.,există, de asemenea, exemple ale legii slabe care se aplică, chiar dacă valoarea așteptată nu există.legea puternică a numerelor mari afirmă că media eșantionului converge aproape sigur la valoarea așteptată

adică

Pr ( lim n → ∞ X n = μ) = 1. afișează stilul Pr!\left(\lim _{n\to \infty }{\overline {x}}_{n}=\mu \right) = 1.}

aceasta înseamnă că probabilitatea ca, pe măsură ce numărul de încercări N merge la infinit, media observațiilor să converge la valoarea așteptată, este egală cu una.,dovada este mai complexă decât cea a legii slabe. Această lege justifică interpretarea intuitivă a valorii așteptate (numai pentru integrarea Lebesgue) a unei variabile aleatorii atunci când este eșantionată în mod repetat ca „medie pe termen lung”.convergența aproape sigură se mai numește și convergență puternică a variabilelor aleatorii. Această versiune se numește legea puternică, deoarece variabilele aleatorii care converg puternic (aproape sigur) sunt garantate să converge slab (în probabilitate)., Cu toate acestea, legea slabă este cunoscută în anumite condiții în care legea puternică nu se menține și atunci convergența este doar slabă (în probabilitate). Vezi # diferențele dintre legea slabă și Legea puternică.legea puternică a numerelor mari poate fi văzută ca un caz special al teoremei ergodice punctuale.

legea puternică se aplică variabilelor aleatoare independente distribuite identic având o valoare așteptată (cum ar fi legea slabă). Acest lucru a fost dovedit de Kolmogorov în 1930. Se poate aplica și în alte cazuri., Kolmogorov, de asemenea, a arătat, în 1933, că dacă variabilele sunt independente și identic distribuite, apoi pentru mediu a converge aproape sigur pe ceva (acest lucru poate fi considerat o altă declarație de puternic lege), este necesar ca acestea să aibă o valoare de așteptat (și apoi, desigur, media va converge aproape sigur la asta).

Dacă summands sunt independente, dar nu identic distribuite, atunci

X n − E ⁡ → o.s. 0 , {\displaystyle {\overline {X}}_{n}-\operatorname {E} {\mare }\ {\xrightarrow {\text{o.s.,}}}\ 0,}

cu condiția ca fiecare Xk are un finit al doilea moment și

∑ k = 1 ∞ 1 k 2 Var ⁡ < ∞ . {\displaystyle \sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} <\infty .}

această afirmație este cunoscută sub numele de legea puternică a lui Kolmogorov, vezi de exemplu Sen & Singer (1993, Teorema 2.3.10).,

Un exemplu dintr-o serie în cazul în care cel slab se aplică legea, dar nu cel mai puternic lege este atunci când Xk este de plus sau minus k / log ⁡ log ⁡ log ⁡ k {\displaystyle {\sqrt {k/\log \log \log k}}} (începând de la suficient de mare k astfel încât numitorul este pozitiv) cu o probabilitate de 1/2 pentru fiecare. Variația Xk este apoi k / log ⁡ log ⁡ log ⁡ k . {\displaystyle k/\log \log \log k.} Kolmogorov puternic lege nu se aplică pentru că suma parțială în criteriul de până la k=n este asimptotic pentru a vă conecta ⁡ n / log ⁡ log ⁡ log ⁡ n {\displaystyle \log n/\log \log \log n} și acest lucru este nemărginit.,

Dacă vom înlocui variabilele aleatoare cu Gaussian variabile având aceleași diferențe, și anume k / log ⁡ log ⁡ log ⁡ k , {\displaystyle {\sqrt {k/\log \log \log k}},} atunci media în orice moment va fi, de asemenea, în mod normal distribuite. Lățimea de distribuție de medie va tinde spre zero (abaterea standard asimptotică la 1 / 2 log ⁡ log ⁡ log ⁡ n {\displaystyle 1/{\sqrt {2\log \log \log n}}} ), dar pentru un anumit ε, există o probabilitate care nu merge la zero cu n, în timp ce media cândva după nth încercare va veni înapoi până la ε., Deoarece lățimea distribuției mediei nu este zero, aceasta trebuie să aibă o limită inferioară pozitivă p(ε), ceea ce înseamnă că există o probabilitate de cel puțin p(ε) ca media să atingă ε după N încercări. Se va întâmpla cu probabilitatea p (ε) / 2 înainte de unele m care depinde de n. dar chiar și după m, există încă o probabilitate de cel puțin p(ε) că se va întâmpla. (Acest lucru pare să indice că p (ε) = 1 și media va atinge ε un număr infinit de ori.,)

diferențele dintre legea slabă și legea puternică

legea puternică nu se menține în următoarele cazuri, dar legea slabă o face.

1. Fie X o variabilă aleatorie distribuită exponențial cu parametrul 1.,)e^{X}X^{-1}} nu are nici o valoare estimată potrivit Lebesgue de integrare, dar și utilizarea condiționată de convergență și interpretarea integrala ca o Dirichlet integral, care este un necorespunzătoare Riemann integrala, putem spune:

E ( sin ⁡ ( X ) e X, X ) = ∫ 0 ∞ sin ⁡ ( x ) e x x e − x d x = π 2 {\displaystyle E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}} E ( 2 (X − 1 ) X, X ) = ∑ 1 ∞ 2 (x − 1 ) x x 2 − x = − ln ⁡ ( 2 ) {\displaystyle E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}

3., Dacă funcția de distribuție cumulativă a unei variabile aleatoare este

1 − F ( x ) = e 2 x ln ⁡ ( x ) , x ≥ e {\displaystyle 1-F(x)={\frac {e}{2x\ln(x)}},x\geq e} F ( x ) = e − 2 x ln ⁡ ( − x ) , x ≤ − e {\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e} atunci ea nu are valoare estimată, dar slab legea este adevărat.

Legea uniformă a numărului mariedit

legea uniformă a numerelor mari prevede condițiile în care convergența se întâmplă uniform în θ. Dacă

atunci e este continuu în θ și

sup θ ∈ Θ ‖ 1 n ∑ i = 1 N f ( X i , θ ) − e ⁡ ‖ → a . s . 0., {\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} \corect\|{\xrightarrow {\mathrm {o.s.} }}\ 0.}

acest rezultat este util pentru a obține consistența unei clase mari de estimatori (vezi Estimatorul Extremum).,

Borel legea lui de mare numbersEdit

Borel este legea numerelor mari, numit după Émile Borel, afirmă că, dacă un experiment este repetat de un număr mare de ori, în mod independent, în condiții identice, atunci proporția de ori că orice eveniment specificat are loc aproximativ egal cu probabilitatea producerii evenimentului cu privire la un anumit proces; un număr mai mare de repetiții, mai bine apropierea tinde să fie., Mai exact, dacă e denotă evenimentul în cauză, p probabilitatea sa de apariție și Nn ( E) numărul de ori e apare în primele n încercări, apoi cu probabilitatea unu,

n n (e ) n → p ca n → ∞ . {\displaystyle {\frac {N_{n}(E)}{n}}\la p{\text{ ca }}n\to \infty .}

această teoremă face riguroasă noțiunea intuitivă de probabilitate ca frecvența relativă pe termen lung a apariției unui eveniment. Este un caz special al oricăreia dintre mai multe legi generale ale unui număr mare în teoria probabilităților.inegalitatea lui Chebyshev., Fie X o variabilă aleatorie cu valoarea finită așteptată μ și varianța finită non-zero σ2. Apoi, pentru orice număr real k > 0,

Pr ( | x − μ | ≥ k σ ) ≤ 1 k 2 . {\displaystyle \Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.}