歸一化

歸一化就是要把需要處理的數據經過處理后（通過某種演演算法）限制在你需要的一定範圍內。首先歸一化是為了後面數據處理的方便，其次是保證程序運行時收斂加快。歸一化的具體作用是歸納統一樣本的統計分佈性。歸一化在0-1之間是統計的概率分佈，歸一化在某個區間上是統計的坐標分佈。歸一化有同一、統一和合一的意思。

簡而言之，是使得沒有可比性的數據變得具有可比性，同時又保持相比較的兩個數據之間的相對關係，如大小關係；或是為了作圖，原來很難在一張圖上作出來，歸一化后就可以很方便地給出圖上的相對位置等。

在使用機器學習演演算法的數據預處理階段，歸一化也是非常重要的一個步驟。例如在應用SVM之前，縮放是非常重要的。Sarle的神經網路FAQ的第二部分（1997）闡述了縮放的重要性，大多數注意事項也適用於SVM。縮放的最主要優點是能夠避免大數值區間的屬性過分支配了小數值區間的屬性。另一個優點是能避免計算過程中的數值複雜度。因為關鍵值通常依賴特徵向量的內積（inner products），例如，線性核和多項式核，屬性的大數值可能會導致數值問題。推薦將每個屬性線性縮放到區間[-1，+1]或者[0， 1]。

當然，必須使用同樣的方法縮放訓練數據和測試數據。例如，假設把訓練數據的第一個屬性從[-10，+10]縮放到[-1， +1]，那麼如果測試數據的第一個屬性屬於區間[-11， +8]，必須將測試數據轉變成[-1.1， +0.8]。