貝葉斯概率

貝葉斯理論和貝葉斯概率以托馬斯·貝葉斯（1702－1761）命名，他證明了現在稱為貝葉斯定理的一個特例。術語貝葉斯卻是在1950年左右開始使用，很難說貝葉斯本人是否會支持這個以他命名的概率非常廣義的解釋。皮埃爾-西蒙·拉普拉斯證明了貝葉斯定理的一個更普遍的版本，並將之用於解決天體力學、醫學統計中的問題，在有些情況下，甚至用於法理學。但是皮埃爾-西蒙·拉普拉斯並不認為該定理對於概率論很重要。他還是堅持使用了概率的經典解釋。

Frank P. Ramsey在《數學基礎》（1931年）中首次建議將主觀置信度作為概率的一種解釋。Ramsey視這種解釋為概率的頻率解釋的一個補充，而頻率解釋在當時更為廣泛接受。統計學家Bruno de Finetti於1937年採納了Ramsey的觀點，將之作為概率的頻率解釋的一種可能的代替。L. J. Savage在《統計學基礎》（1954年）中拓展了這個思想。

有人試圖將“置信度”的直觀概念進行形式化的定義和應用。最普通的應用是基於打賭：置信度反映在行為主體願意在命題上下注的意願上。

當信任有程度的時候，概率計算的定理測量信任的理性程度，就像一階邏輯的定理測量信任的理性程度一樣。很多人將置信度視為經典的真值（真或假）的一種擴展。

Harold Jeffreys, Richard T. Cox, Edwin Jaynes和I. J. Good研探了貝葉斯理論。其他著名貝葉斯理論的支持者包括John Maynard Keynes和B.O. Koopman。

術語：主觀概率, 個人概率, 認知概率和邏輯概率描述了通常成為貝葉斯學派的思想中的一些。這些概念互相重疊，但有不同的側重。這裡提到的一些人物不會自稱是貝葉斯學派的。

貝葉斯概率應該測量某一個體對於一個不確定命題的置信程度，因此在這個意義下是主觀的。有些自稱貝葉斯學派的人並不接受這種主觀性。客觀主義學派的主要代表是Edwin Thompson Jaynes和Harold Jeffreys。也許現在還在世的主要客觀貝葉斯學派人物是杜克大學的James Berger。Jose Bernardo和其他一些人接受一定程度的主觀性，但相信在很多實際情況中有使用"先驗參照（reference priors）"的需要。

邏輯（或者說，客觀認知）概率的推崇者，例如Harold Jeffreys, 魯道夫·卡爾納普（Rudolf Carnap）, Richard Threlkeld Cox和Edwin Jaynes, 希望將能夠在兩個有相同關於某個不確定命題的真實性相關的信息的人計算出同樣的概率的技術規律化。這種概率不和個人相關，而只和認知情況相關，因此位於主觀和客觀之間。但是，他們推薦的方法有爭議。批評者對這個聲稱發起挑戰，在關於相關事實的信息缺乏的時候，更偏好某一個置信度是有現實依據的。另一個問題是迄今為止的技術對於處理實際問題還是不夠的。

貝葉斯概率和頻率概率相對，它從確定的分佈中觀測到的頻率或者在樣本空間中的比例來導出概率。

採用頻率概率的統計和概率的理論由R.A. Fisher, Egon Pearson和Jerzy Neyman在20世紀上半葉發展起來。A. N. Kolmogorov也採用頻率概率來通過勒貝格積分為測度論中的概率奠定數學基礎（《概率論基礎》(1933年)）。Savage, Koopman, Abraham Wald和其他一些學者自1950年以來發展了貝葉斯概率。

貝葉斯學派和頻率學派在概率解釋上的分歧在統計學實踐上有重要的結果。例如，在用同樣的數據比較兩個假設的時候，假設測試理論基於概率的頻率解釋，它允許基於錯誤推出數據更支持另外那個模型/假設的概率來否定或接受一個模型/假設（零假設）。出現這種錯誤的概率稱為一類誤差，它要求考慮從同樣的數據源導出的假想的數據集合要比實際觀測到的數據更為極端。這個方法允許論斷'或者兩個假設不同或者觀測到的數據是誤導性的集合'。相對應的是，貝葉斯方法基於實際觀測到的數據，因此能夠對於任何數量的假設直接賦予后驗概率。對於代表每個假設的模型的參數必須賦予概率的要求是這種直接方法的代價。

自1950年代以來，貝葉斯理論和貝葉斯概率通過考克斯定理, Jaynes的最大熵原理以及荷蘭書論證得到了廣泛的應用。在很多應用中，貝葉斯方法更為普適，也似乎較頻率概率能得出更好的結果。貝葉斯因子也和奧卡姆剃刀一起使用。數學應用請參看貝葉斯推論和貝葉斯定理。

有些人將貝葉斯推論視為科學方法的一種應用，因為通過貝葉斯推論來更新概率要求從對於不同假設的初始信任度出發，採集新的信息（例如通過做試驗），然後根據新的信息調整原有的信念。調整原有的信念可以意味著（更加接近）接受或者推翻初始的假設。

貝葉斯技術最近被應用於垃圾郵件的過濾上。貝葉斯垃圾郵件過濾器採用電子郵件的一個參考集合來定義什麼最初被認為是垃圾郵件。定義了參考之後，過濾器使用參考中的特點來將新的郵件判定為垃圾郵件或有效郵件。新電子郵件作為新的信息出現，並且如果用戶在垃圾郵件和有效郵件的判定中發現錯誤，這個新的信息會更新初始參考集合中的信息，以期將來的判定可以更為精確。參看貝葉斯推論和貝葉斯過濾。