似然函數

關於統計模型參數的函數

統計學中,似然函數(Likelihood function),或簡稱似然,是一種關於統計模型參數的函數。給定輸出x時,關於參數θ的似然函數L(θ|x)(在數值上)等於給定參數θ后變數X的概率:L(θ|x)=P(X=x|θ).似然函數在推斷統計學(Statistical inference)中扮演重要角色,尤其是在參數估計方法中。在教科書中,似然常常被用作“概率”的同義詞。但是在統計學中,二者有截然不同的用法。概率描述了已知參數時的隨機變數的輸出結果;似然則用來描述已知隨機變數輸出結果時,未知參數的可能取值。例如,對於“一枚正反對稱的硬幣上拋十次”這種事件,我們可以問硬幣落地時十次都是正面向上的“概率”是多少;而對於“一枚硬幣上拋十次,落地都是正面向上”這種事件,我們則可以問,這枚硬幣正反面對稱的“似然”程度是多少。

參數化模型的似然函數


有時我們需要考慮在給定一組樣本輸出x時,使用待估參數的假設值與其真實值之間的誤差,此時似然函數變成是關於待估參數的函數。

計算實例


考慮投擲一枚硬幣的實驗。假如已知投出的硬幣正面朝上的概率是,便可以知道投擲若干次后出現各種結果的可能性。比如說,投兩次都是正面朝上的概率是0.25:
從另一個角度上說,給定“投兩次都是正面朝上”的觀測,則硬幣正面朝上的概率為的似然是
儘管這並不表示當觀測到兩次正面朝上時的“概率”是0.25。
如果考慮,那麼似然函數的值會變大
這說明,如果參數的取值變成0.6的話,結果觀測到連續兩次正面朝上的概率要比假設0.5 時更大。也就是說,參數取成0.6 要比取成0.5 更有說服力,更為“合理”。總之,似然函數的重要性不是它的具體取值,而是當參數變化時函數到底變小還是變大。對同一個似然函數,如果存在一個參數值,使得它的函數值達到最大的話,那麼這個值就是最為“合理”的參數值。

應用


最大似然估計

最大似然估計是似然函數最初也是最自然的應用。上文已經提到,似然函數取得最大值表示相應的參數能夠使得統計模型最為合理。從這樣一個想法出發,最大似然估計的做法是:首先選取似然函數(一般是 概率密度函數或概率質量函數),整理之後求最大值。實際應用中一般會取似然函數的對數作為求最大值的函數,這樣求出的最大值和直接求最大值得到的結果是相同的。似然函數的最大值不一定唯一,也不一定存在。與矩法估計比較,最大似然估計的精確度較高,信息損失較少,但計算量較大。

似然比檢驗

似然比檢驗是利用似然函數來檢測某個假設(或限制)是否有效的一種檢驗。一般情況下,要檢測某個附加的參數限制是否是正確的,可以將加入附加限制條件的較複雜模型的似然函數最大值與之前的較簡單模型的似然函數最大值進行比較。如果參數限制是正確的,那麼加入這樣一個參數應當不會造成似然函數最大值的大幅變動。一般使用兩者的比例來進行比較,這個比值是卡方分配。
尼曼-皮爾森引理說明,似然比檢驗是所有具有同等 顯著性差異的檢驗中最有統計效力的檢驗。

極大似然函數


是指找出一個(θ)的組合,使得最大化,即使得樣本數據出現的概率最大化(這是基於我們認為樣本的數據已經發生了,那麼這組數據的出現概率必然是最大的)。

參數名


一般的,出現在說明中一個已命名的係數向量中的每一個元素都將被視為待估參數。由於說明中的已命名的係數向量的所有元素都將被視為待估參數,所以必須確定所有的係數確實能影響一個或多個似然貢獻的值。如果一個參數對似然沒有影響,那麼在進行參數估計時,將遇到一個奇異錯誤。而除了係數元素外所有的對象在估計過程中都將被視為固定的,不可改變的。

其他


EViews估計的順序:logL說明包含了一個或多個能夠產生包含似然貢獻的序列的賦值語句。在執行這些賦值語句的時候,EViews總是從頂部到底部執行,所以後面計算要用到的表達式應放在前面。
EViews對整個樣本重複的計算每個表達式。EViews將對模型進行重複計算時採用 方程順序和樣本 觀測值順序兩種不同方式,這樣你就必須指定採用那種方式,即觀測值和方程執行的順序。
默認情形下,EViews用 觀測值順序來計算模型,此種方式是先用第一個觀測值來計算所有的賦值語句,接下來是用第二個觀測值來計算所有的賦值語句,如此往複,直到估計樣本中所有觀測值都使用過。這是用觀測值順序來計算遞歸模型的正確順序,遞歸模型中每一個觀測值的似然貢獻依賴於前面的觀測值,例如AR模型或ARCH模型。可以改變計算的順序,這樣EViews就可以用方程順序來計算模型,先用所有的觀測值來計算第一個賦值語句,然後用所有的觀測值計算第二個賦值語句,如此往複,對說明中每一個賦值語句都用同樣方式進行計算。這是用中間序列的總量統計作為後面計算的輸入的模型的正確順序。也可以通過在說明中加入一條語句來聲明你所選擇的計算方法。要用方程順序來計算,僅加一行關鍵字“@byeqn”。要用樣本順序來計算,你可以用關鍵字“@byobs”。如果沒有給出關鍵字,那麼系統默認為“@byobs”。無論如何,如果在說明中有遞歸結構,或要求基於中間結果總量統計的計算的條件下,如果想得到正確的結果,就必須選擇適當的計算順序。