嶺回歸(英文名:ridge regression, Tikhonov regularization)是一種專用於共線性數據分析的有偏估計回歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得回歸係數更為符合實際、更可靠的回歸方法,對病態數據的擬合要強於最小二乘法。
ridge regression
在回歸分析中,用一種方法改進
回歸係數的最小二乘估計后所得的回歸。
在多元回歸方程中,用最小二乘估計求得的回歸係數值儘管是其真值β=(β0,β1,···βp)1的
無偏估計,但若將與β分別看成p+1維空間中兩個點的話,它們之間的平均距離E(—β)1(-β)(稱為均方差)仍可能很大,為減小此均方差,用(k)=(X′X+KI)-1X′Y去代替2,稱(K)為β的嶺回歸估計。其中X為各變數的
觀測值所構成的一個n×(p+1)階矩陣,Y是隨機變數的觀測值組成的n維
向量,I為p+1階單位陣,K是與未知參數有關的參數,選擇它使E{[(K)-β]1[(K)-β]}達到最小。