多元線性回歸

多元線性回歸的基本原理和基本計算過程與一元線性回歸相同，但由於自變數個數多，計算相當麻煩，一般在實際中應用時都要藉助統計軟體。這裡只介紹多元線性回歸的一些基本問題。

但由於各個自變數的單位可能不一樣，比如說一個消費水平的關係式中，工資水平、受教育程度、職業、地區、家庭負擔等等因素都會影響到消費水平，而這些影響因素（自變數）的單位顯然是不同的，因此自變數前係數的大小並不能說明該因素的重要程度，更簡單地來說，同樣工資收入，如果用元為單位就比用百元為單位所得的回歸係數要小，但是工資水平對消費的影響程度並沒有變，所以得想辦法將各個自變數化到統一的單位上來。前面學到的標準分就有這個功能，具體到這裡來說，就是將所有變數包括因變數都先轉化為標準分，再進行線性回歸，此時得到的回歸係數就能反映對應自變數的重要程度。這時的回歸方程稱為標準回歸方程，回歸係數稱為標準回歸係數，表示如下：

由於都化成了標準分，所以就不再有常數項 a 了，因為各自變數都取平均水平時，因變數也應該取平均水平，而平均水平正好對應標準分 0 ，當等式兩端的變數都取 0 時，常數項也就為 0 了。

1、普通最小二乘法(Ordinary Least Square, OLS)

普通最小二乘法通過最小化誤差的平方和尋找最佳函數。

通過矩陣運算求解係數矩陣

2、廣義最小二乘法(Generalized Least Square)

廣義最小二乘法是普通最小二乘法的拓展，它允許在誤差項存在異方差或自相關，或二者皆有時獲得有效的係數估計值。

其中，Ω是殘差項的協方差矩陣

SPSS（Statistical Package for the Social Science）－－社會科學統計軟體包是世界著名的統計分析軟體之一。20世紀60年代末，美國斯坦福大學的三位研究生研製開發了最早的統計分析軟體SPSS，同時成立了SPSS公司，並於1975年在芝加哥組建了SPSS總部。20世紀80年代以前，SPSS統計軟體主要應用於企事業單位。1984年SPSS總部首先推出了世界第一個統計分析軟體微機版本SPSS/PC+，開創了SPSS微機系列產品的開發方向，從而確立了個人用戶市場第一的地位。同時SPSS公司推行本土化策略，目前已推出9個語種版本。SPSS/PC+的推出，極大地擴充了它的應用範圍，使其能很快地應用於自然科學、技術科學、社會科學的各個領域，世界上許多有影響的報刊雜誌紛紛就SPSS的自動統計繪圖、數據的深入分析、使用方便、功能齊全等方面給予了高度的評價與稱讚。目前已經在國內逐漸流行起來。它使用Windows的窗口方式展示各種管理和分析數據方法的功能，使用對話框展示出各種功能選擇項，只要掌握一定的Windows操作技能，粗通統計分析原理，就可以使用該軟體為特定的科研工作服務。

SPSS for Windows是一個組合式軟體包，它集數據整理、分析功能於一身。用戶可以根據實際需要和計算機的功能選擇模塊，以降低對系統硬碟容量的要求，有利於該軟體的推廣應用。SPSS的基本功能包括數據管理、統計分析、圖表分析、輸出管理等等。SPSS統計分析過程包括描述性統計、均值比較、一般線性模型、相關分析、回歸分析、對數線性模型、聚類分析、數據簡化、生存分析、時間序列分析、多重響應等幾大類，每類中又分好幾個統計過程，比如回歸分析中又分線性回歸分析、曲線估計、Logistic回歸、Probit回歸、加權估計、兩階段最小二乘法、非線性回歸等多個統計過程，而且每個過程中又允許用戶選擇不同的方法及參數。SPSS也有專門的繪圖系統，可以根據數據繪製各種圖形。

SPSS for Windows的分析結果清晰、直觀、易學易用，而且可以直接讀取EXCEL及DBF數據文件，現已推廣到多種各種操作系統的計算機上，它和SAS、BMDP並稱為國際上最有影響的三大統計軟體。和國際上幾種統計分析軟體比較，它的優越性更加突出。在眾多用戶對國際常用統計軟體SAS、BMDP、GLIM、GENSTAT、EPILOG、MiniTab的總體印象分的統計中，其諸項功能均獲得最高分。在國際學術界有條不成文的規定，即在國際學術交流中，凡是用SPSS軟體完成的計算和統計分析，可以不必說明演演算法，由此可見其影響之大和信譽之高。最新的14.0版採用DAA（Distributed AnalysisArchitechture，分散式分析系統），全面適應網際網路，支持動態收集、分析數據和HTML格式報告，依靠於諸多競爭對手。但是它很難與一般辦公軟體如Office或是WPS2000直接兼容，在撰寫調查報告時往往要用電子表格軟體及專業製圖軟體來重新繪製相關圖表，已經遭到諸多統計學人士的批評；而且SPSS作為三大綜合性統計軟體之一，其統計分析功能與另外兩個軟體即SAS和BMDP相比仍有一定欠缺。

雖然如此，SPSS for Windows由於其操作簡單，已經在我國的社會科學、自然科學的各個領域發揮了巨大作用。該軟體還可以應用於經濟學、生物學、心理學、醫療衛生、體育、農業、林業、商業、金融等各個領域。

Matlab、spss、SAS等軟體都是進行多元線性回歸的常用軟體。