通道編碼定理

設R是信息傳輸的速率，C是離散無記憶通道的通道容量，是任意小的數，則只要就總存在碼字長為N，碼字數為的分組碼使解碼的平均差錯概率。

2.1 通道編碼定理的證明思路

通常思路：

構造一個理想的好碼，

定義一種解碼準則，

計算該好碼經過解碼后的誤碼率

問題：

構建極其複雜且無具體方法，

N值很大時，誤碼率計算困難

香農採取的方法:

用隨機編碼方法得到所有可能碼的集合，在其中隨機選擇一個碼作為通道碼，利用聯合典型序列解碼，利用大數定理計算在集合平均意義上的該碼性能

2.2 證明

從早期的粗糙定性證明到後來給定精確差錯概率指數上下限的嚴格數學證明。許多類型通道的編碼定理已獲證明。但是許多通道的編碼定理，其證明還有待於完善，或尚未得到證明，甚至有些通道的容量概念還不清楚。

通常採用隨機編碼的概念來證明編碼定理。它是以一定的概率分佈隨機地選取M個碼字構成一種編碼，從中選出一個碼字來代表待傳送的N個符號的信息序列，通過通道送出。然後計算出隨機編碼集合上的平均解碼錯誤概率(差錯率) 的上、下限 如圖1。

其中E(R）和E(R)分別是 的上、下限指數，它們隨信率R的變化如圖所示。這揭示了通信系統的可靠性、有效性和複雜性(N）之間的關係，為通信系統設計提供了理論依據。E(R）和E(R)又稱為可靠性函數。當時，E(R）和E(R)是非負的，故當時有。既然所有編碼的平均誤差可接近零，則必然存在一種編碼的誤差至少不劣於此平均值；反之，當時，E(R）和E(R)趨於零，則，就不可能存在一種不出差錯的編碼，這樣就證明了通道編碼定理。

2.3 物理意義

(1)通過編碼可以實現有噪通道上可靠的信息傳輸

(2)有噪通道可靠傳輸的信息率的上界是通道容量C

(3)在碼長及發送信息速率一定時，可以通過增大通道容量，使錯誤概率減小

(4)在通道容量及發送信息速率一定時，可以通過增加碼長，使錯誤概率下降

在資源、可靠性和傳信量之間選擇一個好的工作點（有時還要考慮延時）。(資源指的提供信息傳輸所付出的代價，包括頻率、時間、空間、功率等等。但不包括實現複雜度，一個好的編碼就是要充分利用資源，傳遞儘可能多的信息.)

通道編碼的三種情況

給定資源和可靠性要求，通過通道編碼盡量提高傳輸速率（例：多電平編碼）

給定對信息傳輸的速率和可靠性要求，通過通道編碼盡量減少資源開銷（例：擾亂編碼）

給定資源和傳輸速率，通過編碼提高可靠性（例：檢、糾錯編碼）

通道編碼的分類

(1)按碼的結構分：線性碼，線性分組碼（群碼）,卷積碼（線性樹碼）,非線性碼

(2)按抗干擾模式分：抗隨機差錯碼，抗突發差錯碼

(3)按對錯誤的處理方式分：檢錯碼——應用於ARQ（反饋重發）方式；糾錯碼——應用於FEC（前向糾錯）方式；檢糾錯碼——應用於HEC（混合糾錯）方式。