廣義最小二乘估計

廣義最小二乘估計就是使估計準則J為極小的參數估計。多項式、和的係數都是未知的，所以不能用一個線性演演算法獲得廣義最小二乘估計。

假設所討論的單輸入單輸出系統的差分方程模型是

式中和分別是輸入和輸出序列：

和是運算元多項式，它們的係數是需要通過估計來求出的未知數;是單位延遲運算元；是誤差序列，它是零均值平穩相關雜訊序列。為了進行廣義最小二乘估計可以從形式上把ek變換成廣義最小二乘估計，這裡廣義最小二乘估計廣義最小二乘估計，它的係數也是未知的。如果具有有理譜密度，則可把當作白雜訊序列來處理。

廣義最小二乘估計採用迭代的鬆弛演演算法：先行固定，估計和,使J 趨於極小；然後固定 和 ,估計 ,使 J 趨於極小。如此反覆迭代，直至估計值收斂。這時每步只進行簡單的線性最小二乘估計運算，迭代的初值取扗。

這種演演算法也可推廣到多輸入多輸出系統，並且有相應的近似遞推估計演演算法。當誤差為正態雜訊序列時，這種演演算法還可以解釋為極大似然估計的鬆弛演演算法。

廣義最小二乘估計演演算法的估計精度高，已得到應用並獲得不少成果。它的缺點在於：當信噪比較小時,J可能有多個局部極小點，估計結果不能保證收斂到全局最小點，即參數真值；它的計算量也比線性最小二乘估計增加很多。