貝葉斯估計

貝葉斯估計將后驗概率（考慮相關證據或數據后，某一事件的條件機率）推導為二個前、先驗概率（考慮相關證據或數據前，某一事件不確定性的機率）及似然函數（由概率模型推導而得）的結果。貝葉斯推斷根據貝葉斯定理計算后驗概率：

其中，

1) 表示將某事件成立作為條件（因此 表示假定B成立的A）

2) 表示假說，其機率可能會受實驗數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的

假說，任務是要確認哪一個假說可能性最高。

3) 表示證據。證據對應新的數據，也就是還沒用來計算先驗概率的數據。

4) ，先驗概率，是觀察到數據（目前證據）之前，假說的機率。

5) ，后驗概率，是在給定證據 之後，假說的機率，是希望求得的資訊，也就是在有目前證據時，假說的機率。

6) 是假定成立時，觀察到的機率。在不變時，這是 的函數，也是似然函數，指出在給定假設下假說和證據的相容程度。似然函數是證據 的函數，而後驗概率是假說的函數。

7) 有時會稱為邊緣似然率。此係數對所有可能的假說都是定值，因此在判斷不同假說的相對機率時，不會用到這個係數中。

針對不同的數值，只有和 （都在分子）會影響 的數值。假說的后驗概率和其先驗概率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。

貝葉斯定理也可以寫成下式：

其中係數 可以解釋成對機率的影響。

貝葉斯估計最關鍵的點是可以利用貝斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和頻率論推論相反，頻率論推論只考慮證據，不考慮先驗機率）。

而且貝葉斯估計可以迭代使用：在觀察一些證據后得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此貝斯定理可以應用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程序稱為貝葉斯更新（Bayesian updating）。

1) 是數據點，可能是一個有許多數值形成的向量。

2) 是數據點分佈的參數，也就是說 。這也有可能是參數形成的向量。

3) 是參數的超參數，也就是說 。這也有可能是超參數形成的向量。

4) ，由觀測到的個數據點組成的一組數據，

5) ，需預測分佈的新數據點。

1）先驗分佈是在觀測資料前的參數分佈 ；

2）先驗分佈可能不容易確認，此時可以用傑佛里斯事前分配在更新較新的觀測值時，先獲得后驗分佈；

3）取樣分佈是以觀測資料的條件，其參數的分佈 ，這也稱為似然函數，尤其是視為是參數的函數時，有時會寫成 ；

4）邊緣似然率（有時也稱為證據）是觀測資料在參數上的邊緣分佈 ；

5）后驗分佈是考慮觀測資料后的參數分佈。可以由貝葉斯法則確認，也是貝葉斯推斷的核心：

若用文字表示，即為“后驗和先驗及似然率的乘積成正比”，有時也會寫成“后驗 = 先驗 × 似然率，在有證據的情形下。

貝葉斯是指托馬斯·貝葉斯（1702–1761），他證明了一個特例（現在知道是貝葉斯定理的特例），不過皮埃爾-西蒙·拉普拉斯（1749–1827）推導了此定理的一般版本，應用在天體力學、醫療統計學、可靠度及法學上。早期的貝葉斯推斷是用拉普拉斯不充分理由原則所得的均勻先驗，稱為 逆向機率（因為是由觀測值倒推參數的歸納推理，或是從結果倒推到原因）。在1920年代以後，逆向機率很大程度的被另一群稱為頻率論統計的方式取代。

二十世紀時，拉普拉斯的概念往下分支為二派，開始出現主觀貝葉斯方法及客觀貝葉斯方法。客觀貝葉斯方法（或是不提供信息的貝葉斯方法）中，統計分析只依照假設的模型、分析的資料以及給定先驗分佈的方式（不同的客觀貝葉斯方法會有不同給定先驗分佈的方式）。主觀貝葉斯方法（或是提供信息的貝葉斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊后總結產生，也可以根據以往的研究等。

1980年代發現了馬爾科夫蒙特卡洛方法，讓貝葉斯方法的研究及應用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題。不過雖然貝葉斯方法的研究仍在成長，大部分大學本科的教學仍是以頻率論統計為基礎。不過貝葉斯方法也廣為許多領域接受及應用，例如在機器學習的領域中。

貝葉斯估計有在人工智慧及專家系統上應用廣泛。自1950年代後期開始，貝葉斯估計技巧就是電腦模式識別技術中的基礎。現在也越來越多將貝葉斯估計和以模擬為基礎的蒙地卡羅方法合併使用的應用，因為一些模雜的模型無法用貝葉斯分析得到解析解，因圖模式結構可以配合一些快速的模擬方式（例如吉布斯抽樣或是其他Metropolis–Hastings演演算法）。因為上述理由，貝葉斯推斷在系統發生學研究社群中來越受到重視，許多的應用可以用同時估測許多人口和進化參數。

例。一個醫療診斷問題有兩個可選的假設：病人有癌症、病人無癌症可用數據來自化驗結果：正+和負-。有先驗知識：在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97%。總結如下：

P(cancer)=0.008，P(nocancer)=0.992， P(+|cancer)=0.98，

P(-|cancer)=0.02，P(+|noncancer)=0.03，P(-|noncancer)=0.97。

問題：假定有一個新病人，化驗結果為正，是否應將病人斷定為有癌症？求后驗概率P(cancer|+)和P(noncancer|+)。

因此極大后驗假設計算如下：

P(+|cancer)P(cancer)=0.0078，P(+|noncancer)P(noncancer)=0.0298。

確切的后驗概率可將上面的結果歸一化以使它們的和為1：

P(canner|+)=0.0078/(0.0078+0.0298)=0.21，P(noncancer|+)=0.79。

貝葉斯估計的結果很大程度上依賴於先驗概率，另外不是完全接受或拒絕假設，只是在觀察到較多的數據后增大或減小了假設的可能性。

• 極大似然估計

• 貝葉斯定理

• 貝葉斯概率