極限定理

法國數學家棣莫弗提出的數學術語

極限定理是指概率論術語。關於隨機變數序列極限特性的一簇定理的總稱。有大數定律和中心極限定理兩大最基本的類型。前者用於描述平均結果和頻率的穩定性。後者用於描述分佈的穩定性。概率論的重要研究領域。參見“大數定律”、“中心極限定理”。

簡介


隨量列收斂義收斂某隨量稱,包括律、律、極限、局極限。
隨量、分佈函數列(概率分佈列、特徵函數列……)在一定意義下收斂於某隨機變數、分佈函數(概率分佈、特徵函數……)的有關定理的總稱,主要包括大數定律、小數定律、重對數定律、中心極限定理、局部極限定理……
極限核極限概率論基論 ,概率論統計 論研究具義。

大數定律定義

在概率論中,用來闡明大量平均結果穩定性的一系列定理統稱為大數定律。

中心極限定律定義

在客觀實際中有許多隨機變數,它們是由大量相互獨立的隨機因素的綜合效應所形成的,而其中的每一個單個因素在總的效應中所起的作用都是微小的。這類隨機變數往往近似地服從正態分佈。在概率論中,論證隨機變數和的極限分佈是正態分佈的一系列定理統稱為中心極限定理。

定理


切比雪夫不等式

設隨機變數 有數學期望方差,則對於任意給定的正數,總成立不等式
此不等式稱為切比雪夫不等式。
由切比雪夫不等式可以看出,若方差越小,則概率越大,表明隨機變數 取值越集中;反之,方差越大,概率越小,表明隨機變數 取值較分散。

大數定律

定理1(切比雪夫定理的特殊情況)設隨機變數相互獨立,且具有相同的有限數學期望和方差:,()。作前n 個隨機變數的算術平均,記為
即,則對於任意正數,
恆有
式中,是一個隨機事件,等式表明,當時,這個事件的概率趨於1,即對於任意正數,當n 充分大時,不等式幾乎都是成立的。通常我們稱序列依概率收斂於。
一般地,設為一個隨機變數序列,a 是一個常數,若對於任意正數都有
則稱隨機變數序列依概率收斂於a 。
定理1 表明,當n 很大時,隨機變數的算術平均接近於數學期望,這種接近是概率意義下的接近。

證明方法

這個大數定律的證明確實有幾種不同的方法。最早的證明是由數學大師Kolmogorov給出的。Durrett (2010)的書上用的是Etemadi (1981)的方法,需要截斷X,用到現代概率論的知識如Borel-Cantelli引理、Kolmogorov三級數定理、Fubini定理等。(感謝讀者指出,Durrett的書在倒向鞅一章中給出了大數定律的倒向鞅方法證明,只需要用到倒向鞅的知識和Hewitt-Savage 0-1律,不過這也是現代概率論的知識。)
此外,還有很多不同的大數定律,不同分佈的,不獨立的序列等。定律也不一定是關於隨機變數的,也可以是關於隨機函數的,甚至隨機集合的等等。以數學家命名的也有Khinchin大數定律(不獨立序列的強大數定律)、Chebyshev大數定律(弱大數定律(1))、Poisson大數定律(不同概率的隨機事件序列的大數定律)、Bernoulli大數定律(隨機事件的大數定律)、Kolmogorov大數定律(強大數定律(6))等等……

中心極限定理

定理2 (同分佈的中心極限定理)設隨機變數相互獨立,服從同一分佈並且具有有限的數學期望和方差,,則隨機變數的分佈函數對任意的x,滿足
在很多問題中,所考慮的隨機變數,都可表示成若干獨立的隨機變數之和。它們往往近似地服從正態分佈。在後面將學的數理統計中,我們會看到,中心極限定理是大樣本統計 推斷的理論基礎。

應用


中心極限定理是概率論中最重要的一類定理,它支撐著和置信區間相關的T檢驗和假設檢驗的計算公式和相關理論。如果沒有這個定理,之後的推導公式都是不成立的。
事實上,以上對於中心極限定理的兩種解讀,在不同的場景下都可以對測試的指標置信區間判定起到一定作用。
對於屬於正態分佈的指標數據,我們可以很快捷地對它進行下一步假設檢驗,並推算出對應的置信區間;而對於那些不屬於正態分佈的數據,根據中心極限定理,在樣本容量很大時,總體參數的抽樣分佈是趨向於正態分佈的,最終都可以依據正態分佈的檢驗公式對它進行下一步分析。

總結


綜上所述,通俗的說,大量隨機變數的平均值已不具有顯著的隨機性,而是必然接近 某個常數,這是自然界一類隨機現象隱含 的最重要的規律之一;另一規律是,儘管 個別隨機變數的分佈函數可能各式各樣,但大量相互獨立的隨機變數和的分佈不再 是任意的,而是服從正態分佈。