殘差

設線性回歸模型為其中Y是由相應變數構成的n維向量，X是階設計矩陣，β是維向量，ε是n維隨機變數。

回歸係數的估計值，擬合值為，其中，稱H為帽子矩陣。殘差為。

這解釋了帽子矩陣與殘差的關係，因為殘差可以通過帽子矩陣與真實值得出。

由差向量ε的的性質，得到。因此，對每個，有，其中是矩陣H對角線上的元素。

用作為的估計值，稱為標準化殘差，或者稱為內學生化殘差。這因為的估計中用了包括第i個樣本在內的全部數據。由可知，標準化殘差近似服從標準正態分佈。

若記刪除第i個樣本數據后，由余下的n-1個樣本數據求得的回歸係數為，做的估計值，有，其中為設計矩陣X的第j行。稱為學生化殘差，或者稱為學生化殘差。

在回歸分析中，測定值與按回歸方程預測的值之差，以δ表示。殘差δ遵從正態分佈。（δ-殘差的均值）/殘差的標準差，稱為標準化殘差，以δ*表示。δ*遵從標準正態分佈。實驗點的標準化殘差落在(-2，2)區間以外的概率≤0.05。若某一實驗點的標準化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與回歸直線擬合。

顯然，有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它干擾。

為了更深入地研究某一自變數與因變數的關係，人們還引進了偏殘差。此外， 還有學生化殘差、預測殘差等。以某種殘差為縱坐標，其它變數為橫坐標作散點圖，即殘差圖 ，它是殘差分析的重要方法之一。通常橫坐標的選擇有三種：

(1)因變數的擬合值；

(2)自變數；

(3)當因變數的觀測值為一時間序列時，橫坐標可取觀測時間或觀測序號。