香農限

考慮數據率、雜訊以及誤碼率的關係。雜訊的存在會破壞一個或多個比特。假如數據率增加，那麼這些比特會變短，因而給定的雜訊模式會影響更多個比特。於是，給定一個雜訊值，數據率越高則誤碼率也越高。所有的這些概念可以通過香農公式清楚聯繫在一起，此公式由數學家 克勞德·艾爾伍德·香農(Claude Elwood Shannon，1916-2001）推導得出的。

如剛才所描繪的，數據率越高，無用的雜訊會帶來更嚴重的破壞。在雜訊存在的情況下，給點一個雜訊值，我們能夠通過提高信號強度來提高正確接收數據的能力。在這一推導過程中涉及的主要參數是信噪比(SNR或S/N)，它是指在傳輸過程中某一點的信號功率與雜訊包含功率之比。通常信噪比在接收器處測量，因為正是在這裡我們試圖處理信號並消除無用雜訊。為了使用方便，這個比率通常用分貝表示

它表示有用信號超出雜訊值的量，以分貝為單位。SNR的值越高，表示信號的質量越好，所需中間轉發器的數量越少。

信噪比對數字數據傳輸十分重要，因為它限定了一個可達到的數據率上限。香農得出的結果是，用bps來表示的通道的最大容量遵從等式

C是以比特/秒為單位的通道容量，凈比特率的理論上限（信息速率，有時表示為I），不包括糾錯碼;

B是帶寬的通道的在赫茲（通帶中的帶通信號的情況下的帶寬）;

S是以瓦（或伏平方）測量的帶寬上的平均接收信號功率（在載波調製通帶傳輸的情況下，通常表示為C）;

N是雜訊和帶寬上的干擾的平均功率，以瓦（或伏特平方）為單位測量;

是通信信號對接收機雜訊和干擾的信噪比（SNR）或載波雜訊比（CNR）（表示為線性功率比，而不是對數分貝）。

香農公式顯示出理論上可達到的最大值。然而在實際應用中能夠達到的速率要低得多。其中一個原因是該公式假定雜訊為白雜訊(熱雜訊)，既沒有考慮到衝激雜訊，也沒有考慮衰減和時延失真。即使在理想白雜訊情況下，因為編碼的原因(如編碼長度和複雜性等)，目前的技術仍然無法達到香農容量。

香農公式中提到的容量為無誤碼容量。經香農證明，假如通道上的實際信息率比無誤碼容量低，從理論上來說，通過適當的信息編碼，通道就有可能達到無誤碼容量。遺憾的是，香農的理論並沒有給出如何找到這種編碼的方法，但提供了一個用來衡量實際通信機制性能的計算標準。

通過香農公式我們可以考慮如何將通道容量上限提高。假如雜訊值給定，那麼似乎通過增加信號強度或帶寬就能提高數據率；但是，如果信號強度增加了，則系統的非線性程度也會提高，這就導致互調雜訊的增加。還有一點需要注意，由於假定雜訊是白雜訊，那麼帶寬越寬，因此系統容納的雜訊也就越多，因此隨著B的增加SNR反而降低了。當，或時， 。

但是當 時，將趨向何值？

令，上式可以改寫為：

利用關係式：

,

上式變為：上式表明，當給定時，若帶寬B趨於無窮大，通道容量不會趨於無限大，而只是的1.44倍。這是

因為當帶寬B增大時，雜訊功率也隨之增大。

和帶寬B的關係曲線：上式還可以改寫成如下形式：

式中 ——每比特能量

——每比特持續時間

上式表明，為了得到給定的通道容量，可以增大帶寬B以換取的減小；另一方面，在接收功率受 限的情況下，由於，可以增大以減小S來保持和不變。

在信息理論中，雜訊通道編碼定理（有時是香農定理）確定了對於通信通道的任何給定程度的雜訊污染，可以將幾乎無錯誤的離散數據（數字信息）傳送到可計算的最大值通過渠道率。這個結果由克勞德·香農在1948年提出，部分原因是早期的工作和哈里·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）的觀點。

香農定理指出，給定具有通道容量C和以速率R發送的信息的雜訊通道，則 存在碼，其允許誤差的概率，以做得任意小，在接收器處。這意味著理論上可以以低於限制速率C的速度將信息幾乎無差錯地發送出去。

相反也是重要的。如果 ，任意小的錯誤概率是無法實現的。所有代碼將具有大於某個正極小水平的誤差概率，並且該水平隨著速率的增加而增加。因此，不能保證通過通道容量以外的速率可靠地傳輸信息。定理沒有解決速度和能力相等的罕見情況。

通道容量C可以根據通道的物理性質來計算;

1.對於每個離散的無記憶通道，通道容量

具有以下屬性。對於任何且，對於足夠大，存在的長度的代碼和速率和解碼演演算法，使得塊差錯的最大概率。

2.如果位錯誤的概率是可以接受的，則可以實現高達的速率，其中和是二進位熵函數

對於任何，大於的速率是不可實現的。

（MacKay（2003），第162頁; cf Gallager（1968），ch.5; Cover和Thomas（1991），第198頁; Shannon（1948）11頁）

在資訊理論中，香農極限告訴在該信息可以通過一個特定帶寬的存在特定雜訊的通信通道數據被發送的最大速率。這是雜訊通道編碼定理在受到高斯雜訊的連續時間、模擬通信通道的原型情況下的應用。該定理建立了對這種通信鏈路的通道香農限，限制了在存在雜訊干擾的情況下可以以指定帶寬發送的每個時間單位的無錯誤信息的最大量，假設信號功率是有界的，並且高斯雜訊過程的特徵在於已知功率或功率譜密度。定理以Claude Shannon和Ralph Hartley命名。

香農 - 哈特利定理陳述了通道容量C，這意味著可以使用平均接收信號功率S通過經過加性白高斯的模擬通信通道以任意低的錯誤率傳送的數據的信息速率的理論上的最上限電源雜訊N：

在1927年，奈奎斯特認為每單位時間可以通過電報通道的獨立脈衝數量被限制在通道帶寬的兩倍。在符號中，

其中是脈衝頻率（以每秒脈衝數計），B是帶寬（赫茲）。數量2B後來被稱為奈奎斯特速率，並以每秒2個B脈衝的限制脈衝速率以奈奎斯特率發送信號。奈奎斯特在1928年發表他的研究成果，作為他的論文“電訊傳播理論中的某些話題”的一部分。

1928年，哈特利制定了一種量化信息和線路速率（也稱為數據信令速率 R比特每秒）的方法。這種方法，後來被稱為哈特利定律，成為香農更加複雜的通道容量概念的重要前身。

哈特利認為，可以通過通信通道可靠地發送和接收的可區分脈衝電平的最大數量受到信號幅度的動態範圍和接收機能夠區分振幅電平的精度的限制。具體地說，如果發送信號的幅度被限制在伏的範圍內，並且接收機的精度為伏特，則不同脈衝M的最大數量由

通過以比特/脈衝中的每個脈衝獲取信息作為可以發送的不同消息M的數量的基2-對數，Hartley構建了線速率R的度量： ,

其中 是脈衝速率，也稱為符號速率，以符號/秒或波特率表示。

然後，哈特利將上述量化與奈奎斯特的觀察結合起來，可以通過帶寬B 赫茲通道的獨立脈衝數為每秒2B脈衝，以達到其可實現線速率的定量測量。

哈特利定律有時引述只是模擬帶寬，B，以Hz為單位，和今天被稱為數字帶寬的R ，以比特/秒為單位之間的比例。其他時候，以這種更定量的形式引用，作為每秒可用的R比特率：

哈特利沒有確切地知道數字M應如何依賴於通道的雜訊統計，或者即使單個符號脈衝不能可靠地區分為M個等級，通信如何可靠地生成; 利用高斯雜訊統計，系統設計人員必須選擇非常保守的M值來實現低錯誤率。

哈特利的速率結果可以被看作是一個無差錯的能力中號的2個進位通道B每秒符號。有些作者將其稱為容量。但是這樣一個無誤的通道是一個理想化的方式，如果選擇M小到足以使雜訊通道幾乎無誤，結果必然小於帶寬B的雜訊通道的香農容量，這是隨後的香農哈特利定律結果後來。

將通道容量與哈特利定律的信息比率進行比較，我們可以找到有效數量的可區分級別M：

平方根有效地將功率比轉換回電壓比，因此電平數量幾乎與信號RMS幅度與雜訊標準偏差之比成正比。香農限與哈特利定律之間形式的相似性不應該被解釋為意味著M脈衝水平可以毫無混亂地被發送; 需要更多的級別，以允許冗餘編碼和糾錯，但是可以用編碼處理的凈數據速率等同於使用哈特利定律中的M。

頻率依賴（彩色雜訊）情況

在上面的簡單版本中，信號和雜訊完全不相關，在這種情況下，是接收信號和雜訊的總功率。通過對多個窄獨立的高斯通道并行處理通道，獲得加性雜訊不是白色（或S / N在帶寬上的頻率不恆定）的情況下的上述等式的推廣，

C是以比特/秒為單位的通道容量 ;

B是通道的帶寬，單位為Hz;

S（f）是信號功率譜

N（f）是雜訊功率譜

f是以Hz為單位的頻率。

注意：該定理僅適用於高斯穩定過程雜訊。該公式引入頻率相關雜訊的方法不能描述所有的連續時間雜訊過程。例如，考慮雜訊過程，其包括在任何時間點加上振幅為1或-1的隨機波，以及將這樣的波加到源信號上的通道。這樣的波的頻率分量是高度依賴的。雖然這樣的雜訊可能具有高功率，但是如果底層雜訊是每個頻帶中的獨立雜訊之和，則傳輸比所需要的功率少得多的連續信號是相當容易的。

近似

對於大或小且恆定的信噪比，容量公式(香農公式)可以近似為：

1.如果，那麼這裡2. 同理，如果，那麼在這種低SNR近似中，如果雜訊為白色，則光譜密度的容量與帶寬無關瓦特/赫茲，在這種情況下，總 雜訊功率是。

我們假設通道是無記憶的，但是其轉換概率隨時間而變化，以發射機和接收機已知的方式。

然後通道容量由 在每個相應通道的容量達到分配的情況下達到最大值。也就是，

這裡代表第i個通道的容量。

諸如“發送消息3次並且如果副本不同則使用最佳2投票方案”這樣的簡單方案是無效率的糾錯方法，不能夠漸近地保證一個數據塊可以毫無差錯地傳達。諸如Reed-Solomon碼的高級技術，以及最近的低密度奇偶校驗（LDPC）碼和turbo碼更接近於達到理論香農限制，但是以高的計算複雜度為代價。使用這些高效率的代碼和當今數字信號處理器的計算能力，現在可以達到非常接近香農限額。實際上，已經表明，LDPC碼可以達到香農極限的0.0045dB（對於二進位AWGN通道，具有非常長的塊長度）。

土耳其畢爾肯大學教授Erdal Arikan於2009年正式提出的新型編碼方案——極化碼（polar code），是目前唯一一個在理論上已經被證明可以到達香農限的方案。