穆爾-彭羅斯廣義逆矩陣
穆爾-彭羅斯廣義逆矩陣
穆爾-彭羅斯廣義逆矩陣(Moore-Penrose generalized inverse matrix)是逆矩陣概念的推廣,彭羅斯(R.Penrose)於1995年證明了對任一m×n階矩陣A,都存在惟一的n×m階矩陣X,它滿足:1.AXA=A;2.XAX=X;3.(AX)*=AX;4.(XA)*=XA;則稱X為A的穆爾-廣義逆矩陣,簡稱M-P逆,記為A。當A為n階非異陣時,其逆A也滿足條件1到4,故M-P逆確為通常逆矩陣的推廣。在矛盾線性方程組Ax=b的最小二乘解中,x=Ab是范數最小的的一個解,任意矩陣的廣義逆定義,最早是由穆爾(E.H.Moore)於1920年提出來的,根據實際問題的需要,一些學者還研究了其他各種類型的廣義逆矩陣。
穆爾-彭羅斯廣義逆矩陣是一種廣義逆矩陣,設A是復矩陣,如果復矩陣G滿足:
1.;
2.;
3.;
4.,
則G稱為A的 穆爾-彭羅斯廣義逆矩陣。顯然,A與G互為穆爾-彭羅斯廣義逆,任意的復矩陣A有惟一的穆爾-彭羅斯廣義逆,記為。
矩陣A的廣義逆有如下的性質:
1.的秩;
2.;
3.,因此,若A是對稱矩陣,則也是對稱矩陣;
4.,因此,若A是半正定矩陣,則也是半正定矩陣;
5.都是冪等矩陣。
穆爾-彭羅斯廣義逆矩陣在最小二乘法中有用。
設A為的實矩陣,若的矩陣H滿足下列條件:
那麼,根據正交矩陳的特性:
式中是的矩陣,
其中穆爾-彭羅斯廣義逆是很多廣義逆之一(Ben-Israel和Greville,1974)。也就是說,對當作逆的矩陣H有其它選擇,因而對問題可得不同的近似解。例如,在阻尼最小二乘方法(或脊式回歸)中,矩陣H選為:
該式中F是對角濾波矩陣,其分量為:
式中θ是大大小於最大奇異值的調節參數。
該逆矩陣H的作用是產生估算值 ,與穆爾-彭羅斯廣義逆的解所得的值相比,可能它的沿相應於最小奇異值的奇異矢量分量被阻尼了。可以證明該 是下列問題的解:
對 求極小 (7c)
這樣就代表了在數據擬合和解的大小限制之間的折衷。這種思路也用於非線性最小二乘法,即大家熟知的利文伯格-馬今特法中(Levenberg-Marquardt method ) 。
與一般的逆矩陣不同,即使矩陣是奇異的,穆爾-彭羅斯的廣義逆矩陣總是存在的。在構成這種廣義逆矩陣時,必須小心地處理零奇異值。在式(6)中,僅當時,定義而當時,則定義。這就避免了一般求逆時由帶來的問題。而且,奇異值可幫助理解矩陣的秩和矩陣的條件。
通常矩陣秩定義為最大互不相關的列數,這樣一個定義實際上很難應用於一般矩陣。然而若矩陣是三角形的,秩就是非零對角元素的數目。由於正交變換,比如在奇異值分解中的變換,並不影響秩,立即可以發現A的秩與其奇異值分解中S的秩相等,因此矩陣秩實用的定義是非零奇異值的數目。由於計算機精度有限,可能很難區別一個小奇異值和零奇異值,因而定義有效秩是大於某預定容限的奇異值數。容限反映了機器和數據的精度。