估計理論

應用統計學方法來研究，用接收到的有雜訊的觀測數據估計實際參量或隨機變數、隨機過程或系統某些特性的理論，為資訊理論的一個分支。估計分為參量估計和狀態估計兩類。參量和狀態的區別是：前者隨著時間保持不變或只緩慢變化；後者則隨著時間連續變化。例如，根據雷達回波來估計每一時刻在連續變化的衛星的三個空間位置矢量和三個速度矢量，這是狀態估計。對衛星的質量和慣量等的估計則屬於參量估計。被估計的參量又可分為隨機變數和非隨機變數兩種。要估計的狀態則又有離散時間和連續時間的區別。

發展概況 19世紀初，德國數學家C.F.高斯提出了最小二乘法估計(最小平方誤差估計)。從20世紀20年代到30年代，英國統計學家R.A.費歇耳系統地建立了經典估計理論。1941年蘇聯科學家H.柯爾莫戈洛夫首先論述離散時間情況下的預測問題。美國科學家N.維納於1942年推導出連續時間濾波。他們都把統計方法應用於解決與狀態估計有關的最佳線性濾波問題，為現代估計理論奠定了基礎。60年代初，R.E.卡爾曼等人發展了維納理論，把狀態變數法引入濾波理論，用時域微分方程表示濾波問題，得到遞歸濾波演演算法，適於用計算機求解和實時處理。這一突破使估計理論在許多領域得到實際應用。80年代初,光纖通信和激光雷達等逐漸成為工程現實,量子通道與量子檢測和估計理論遂引起人們的注意。

基本概念 圖為一般估計問題的模型。源的輸出通常是時間t的函數，並且包含待估計的參量。例如，在雷達系統中，目標在每一時刻的回波就是源的輸出，可寫成Acos【2πf(t-tR)+φ0】，A是回波幅度；f是回波頻率；tR是時延。這些都是待估計的參量，包含著目標的散射特性、空間距離和運動速度等信息。源發出的數據在到達數據處理裝置前總是受到隨機雜訊的干擾。概率轉移機構把數據和雜訊按照數學規則轉移成具有一定概率模型的信號，作為處理裝置的輸入 y。處理裝置的任務就是對具有概率特性的數據進行必要的處理，然後按設定的規則得到估計量。如果待估計的參量只有一個θ，從對 y的n個觀測數據的處理所得的估計量為；因y具有隨機特性，估計量也將是一個隨機變數，它本身也有一階矩、二階矩等統計特性。估計量的好壞可用它的統計特性來表示。當θ 為實際參量時，稱與θ（稱為真值）之差為估計誤差，用表示，即

如果的期望值為零，即

表示估計量的期望值等於真值，稱為無偏估計。如果對同一參量θ用不同估計方法得出不同的無偏估計1,2,…，其中之一κ的方差是所有估計量方差中最小的，並達到相應的下限時，則稱κ為有效估計。如果對任一小的正數ε有下列概率的極限關係

則稱為一致估計。

估計方法 常用的估計方法有最小平方誤差估計、極大似然估計和貝葉斯估計。

①　最小平方誤差估計：對信號和雜訊的統計知識可以不作任何要求。它的基本點是使 n次觀測值與理論計算值的絕對誤差在平方和意義下最小，並由此求得估計量。若u是變數x,y,…的函數並含有m個參量θ1,θ2，…，θm，即

u＝f(θ1,θ2,…,θm;x,y,…)

對u和x，y，…作n次觀測，得

(xi,yi,…,ui) (i＝1,2,…,n)

於是u的理論計算值與觀測值ui的絕對誤差為，i=1，2，…,n。如n個絕對誤差的平方和最小，從而使函數u與觀測值u1,u2,…，un最佳擬合，也就是使參量θ1，θ2，…，θm滿足下列關係

為最小。根據微分學中求極值方法可知，θ1,θ2,…,θm，應滿足下列方程組

媉θ/媉θi＝0 (i＝1，2，…，m)

由此可求得最小平方誤差估計量1，2，…，m。

②極大似然估計：以似然函數的概念為基礎。用Y表示一組觀測量，θ表示一組未知參量，則條件密度函數p（Y|θ）是Y 和θ兩者的函數。如果規定Y等於其觀測量Y*，則p(Y*│θ只是θ的函數，並稱為似然函數。其涵義是似然函數p(Y*|θ)的值越大，則θ是準確值的可能性也越大。使p(Y*θ)最大的θ就是極大似然估計量，通常用表示。

③貝葉斯估計：對於單參量估計（多參量估計的情況相似）來說，首先要給定隨機參量 θ的概率密度函數p(θ)和因估計誤差而帶來的代價函數C(θ，)。假設處理裝置對Y進行了n次測量,y＝(y1,y2,…，yn),且已知θ時y的條件聯合概率密度為p(y│θ)，則估計量(y)帶來的風險為

平均風險為

貝葉斯估計就是使平均風險R()成為最小的估計。可由方程

解出貝葉斯估計量。

參考書目

H. L. Van　Trees,　Detection, Estimation　and Modulation　Theory, Part　I, John Wiley,New York,1968.