樸素貝葉斯

學過概率的同學一定都知道貝葉斯定理：

這個在250多年前發明的演演算法，在信息領域內有著無與倫比的地位。貝葉斯分類是一系列分類演演算法的總稱，這類演演算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。樸素貝葉斯演演算法（Naive Bayesian) 是其中應用最為廣泛的分類演演算法之一。

樸素貝葉斯分類器基於一個簡單的假定：給定目標值時屬性之間相互條件獨立。

通過以上定理和“樸素”的假定，我們知道：

分類是將一個未知樣本分到幾個預先已知類的過程。數據分類問題的解決是一個兩步過程：第一步，建立一個模型，描述預先的數據集或概念集。通過分析由屬性描述的樣本（或實例，對象等）來構造模型。假定每一個樣本都有一個預先定義的類，由一個被稱為類標籤的屬性確定。為建立模型而被分析的數據元組形成訓練數據集，該步也稱作有指導的學習。

在眾多的分類模型中，應用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBC）。決策樹模型通過構造樹來解決分類問題。首先利用訓練數據集來構造一棵決策樹，一旦樹建立起來，它就可為未知樣本產生一個分類。在分類問題中使用決策樹模型有很多的優點，決策樹便於使用，而且高效；根據決策樹可以很容易地構造出規則，而規則通常易於解釋和理解；決策樹可很好地擴展到大型資料庫中，同時它的大小獨立於資料庫的大小；決策樹模型的另外一大優點就是可以對有許多屬性的數據集構造決策樹。決策樹模型也有一些缺點，比如處理缺失數據時的困難，過度擬合問題的出現，以及忽略數據集中屬性之間的相關性等。

和決策樹模型相比，樸素貝葉斯分類器(Naive Bayes Classifier,或 NBC)發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，演演算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。

解決這個問題的方法一般是建立一個屬性模型，對於不相互獨立的屬性，把他們單獨處理。例如中文文本分類識別的時候，我們可以建立一個字典來處理一些片語。如果發現特定的問題中存在特殊的模式屬性，那麼就單獨處理。

實際計算先驗概率時候，因為這些模式都是作為概率被程序計算，而不是自然語言被人來理解，所以結果是一樣的。

在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。但這點有待驗證，因為具體的問題不同，演演算法得出的結果不同，同一個演演算法對於同一個問題，只要模式發生變化，也存在不同的識別性能。這點在很多國外論文中已經得到公認，在機器學習一書中也提到過演演算法對於屬性的識別情況決定於很多因素，例如訓練樣本和測試樣本的比例影響演演算法的性能。

決策樹對於文本分類識別，要看具體情況。在屬性相關性較小時，NBC模型的性能稍微良好。屬性相關性較小的時候，其他的演演算法性能也很好，這是由於信息熵理論決定的。

樸素貝葉斯模型：

----

Vj屬於V集合

其中Vmap是給定一個example,得到的最可能的目標值.

其中是這個example裡面的屬性.

這裡面,Vmap目標值，就是後面計算得出的概率最大的一個。所以用max 來表示

----

貝葉斯公式應用到中.

可得到

又因為樸素貝葉斯分類器默認他們互相獨立的.

所以對於結果沒有用處. [因為所有的概率都要除同一個東西之後再比較大小，最後結果也似乎影響不大]

可得到

然後

"樸素貝葉斯分類器基於一個簡單的假定：給定目標值時屬性之間相互條件獨立。換言之。該假定說明給定實力的目標值情況下。觀察到聯合的的概率正好是對每個單獨屬性的概率乘積：

....

樸素貝葉斯分類器：

"

此處，對應天氣的例子。

----