相關向量機

它的訓練是在貝葉斯框架下進行的，在先驗參數的結構下基於主動相關決策理論（automatic relevance determination，簡稱ARD）來移除不相關的點，從而獲得稀疏化的模型。在樣本數據的迭代學習過程中，大部分參數的后驗分佈趨於零，與預測值無關，那些非零參數對應的點被稱作相關向量（Relevance Vectors），體現了數據中最核心的特徵。同支持向量機相比，相關向量機最大的優點就是極大地減少了核函數的計算量，並且也克服了所選核函數必須滿足Mercer條件的缺點。

1. SVM 基於結構風險最小化原則構建學習機，RVM基於貝葉斯框架構建學習機

2. 與SVM相比，RVM不僅獲得二值輸出，而且獲得概率輸出

3. 在核函數的選擇上，不受梅西定理的限制，可以構建任意的核函數

4. 不需對懲罰因子做出設置。在SVM中懲罰因子是平衡經驗風險和置信區間的一個常數，實驗結果對該數據十分敏感，設置不當會引起過學習等問題。但是在RVM中參數自動賦值

5. 與SVM相比，RVM更稀疏，從而測試時間更短，更適用於在線檢測。眾所周知，SVM的支持向量的個數隨著訓練樣本的增大成線性增長，當訓練樣本很大的時候，顯然是不合適的。雖然RVM的相關向量也隨著訓練樣本的增加而增加，但是增長速度相對SVM卻慢了很多。

6. 學習機有一個很重要的能力是泛化能力，也就是對於沒有訓練過的樣本的測試能力。文章表明，RVM的泛化能力好於SVM。

7. 無論是在回歸問題上還是分類問題上，RVM的準確率近似於SVM。

8. 但是RVM訓練時間短。