后驗分佈

基本定義

根據樣本 X 的分佈Pθ及θ的先驗分佈π(θ)，用概率論中求條件概率分佈的方法，可算出在已知X=x的條件下,θ的條件分佈 π(θ|x)。因為這個分佈是在抽樣以後才得到的，故稱為後驗分佈。貝葉斯學派認為：這個分佈綜合了樣本X及先驗分佈π(θ)所提供的有關的信息。抽樣的全部目的，就在於完成由先驗分佈到后驗分佈的轉換。如上例，設p=P(θ=1)=0.001,而π(θ=1|x)=0.86,則貝葉斯學派解釋為：在某甲的指標量出之前，他患病的可能性定為0.001，而在得到X后，認識發生了變化：其患病的可能性提高為0.86，這一點的實現既與X有關，也離不開先驗分佈。計算后驗分佈的公式本質上就是概率論中著名的貝葉斯公式(見概率)，這公式正是上面提到的貝葉斯1763年的文章的一個重要內容。

推斷方法

貝葉斯推斷方法的關鍵在於所作出的任何推斷都必須也只須根據后驗分佈π(θ│X),而不能再涉及X的樣本分佈Pθ。

例子

例如，在奈曼－皮爾遜理論（見假設檢驗）中，為了確定水平α的檢驗的臨界值C，必須考慮X的分佈Pθ，這在貝葉斯推斷中是不允許的。但貝葉斯推斷在如何使用π(θ│X)上，有一定的靈活性，例如為作θ的點估計，可用后驗分佈密度h(θ|X)關於θ的最大值點，也可以用π(θ|X)的均值或中位數(見概率分佈)等。為作θ的區間估計，可以取區間[A(X)，B(X)]，使π(A(X)≤θ≤B(X)│X)等於事先指定的數1-α(0<α<1),並在這個條件下使區間長度B(X)-A(X)最小。若要檢驗關於θ的假設H:θ∈ω,則可以算出ω的后驗概率 π(ω|X)，然後在π(ω│X)<1/2時拒絕H。如果是統計決策性質（見統計決策理論）問題，則有一定的損失函數L(θ,α)，知道了π(θ|X)，可算出各行動α的后驗風險，即L(θ,α)在後驗分佈π(θ|X)下的數學期望值，然後挑選行動α使這期望值達到最小，這在貝葉斯統計中稱為“后驗風險最小”的原則，是貝葉斯決策理論中的根本原則和方法。