香農三大定理

香農三大定理是資訊理論的基礎理論。香農三大定理是存在性定理，雖然並沒有提供具體的編碼實現方法，但為通信信息的研究指明了方向。香農第一定理是可變長無失真信源編碼定理。香農第二定理是有噪通道編碼定理。香農第三定理是保失真度準則下的有失真信源編碼定理

香農第一定理(可變長無失真信源編碼定理)

設離散無記憶信源X包含N個符號{x1,x2,…,xi,..,xN}，信源發出K重符號序列，則此信源可發出N^k個不同的符號序列消息，其中第j個符號序列消息的出現概率為PKj，其信源編碼后所得的二進位代碼組長度為Bj，代碼組的平均長度B為

當K趨於無限大時，B和信息量H(X)之間的關係為

香農第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。

香農第一定理的意義：將原始信源符號轉化為新的碼符號，使碼符號盡量服從等概分佈，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。

香農第二定理（有噪通道編碼定理）

有噪通道編碼定理。當通道的信息傳輸率不超過通道容量時，採用合適的通道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了通道容量，就不可能實現可靠的傳輸。

設某通道有r個輸入符號，s個輸出符號，通道容量為C，當通道的信息傳輸率R

公式：註：B為通道帶寬；S/N為信噪比，通常用分貝（dB）表示。

香農第三定理（保失真度準則下的有失真信源編碼定理）

保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼后的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即.

設R(D)為一離散無記憶信源的信息率失真函數，並且選定有限的失真函數，對於任意允許平均失真度，和任意小的a>0，以及任意足夠長的碼長N，則一定存在一種信源編碼W，其碼字個數為，而編碼后碼的平均失真度。