Shannon 編碼定理

香農定理

香農定理：描述了有限帶寬，有隨機熱雜訊通道的最大傳輸速率與通道帶寬，信號雜訊功率比之間的關係。

在信號處理和信息理論的相關領域中，通過研究信號在經過一段距離后如何衰減以及一個給定信號能載入多少數據后得到了一個著名的公式，叫做香農（Shannon）定理。它以比特每秒（bps）的形式給出一個鏈路速度的上限，表示為鏈路信噪比的一個函數，鏈路信噪比用分貝（dB）衡量。因此我們可以用香農定理來檢測電話線的數據速率。

香農定理由如下的公式給出: C=Blog2(1＋S/N) ，其中C是通道容量，B是通道帶寬，S是平均信號功率,N是平均雜訊功率，信噪比（S/N）通常用分貝（dB）表示，分貝數=10×log10（S/N ）

通道容量(channel capacity): 是指存在一種方式可以以數據率和隨意的低誤差概率將數據通過含雜訊的有限頻帶通道傳送。

帶寬和信噪比是人們可以得勝的兩個自由度以提高通過一個通道發送信息的數據率。

AWGN(Additive White Gaussian Noise 加性高斯白雜訊): 是指信號中包含從負無窮到正無窮之間的所有頻率分量，且各頻率分量在信號中的權值相同。白光包含各個頻率成分的光，白雜訊這個名稱是由此由此而來的。它在任意時刻的幅度是隨機的，但在整體上滿足高斯分佈函數。

香農三大定理：

一：香農第一定理(可變長無失真信源編碼定理)

設信源S的熵H(S),無噪離散通道的通道容量為C,於是，信源的輸出可以進行這樣的編碼，使得通道上傳輸的平均速率為每秒(C/H(S)-a)個信源符號。其中a可以是任意小的正數, 要使傳輸的平均速率大於(C/H(S))是不可能的。

二：香農第二定理（有噪通道編碼定理）

設某通道有r個輸入符號,s個輸出符號，通道容量為C,當通道的信息傳輸率R碼長N足夠長，總可以在輸入的集合中(含有r^N個長度為N的碼符號 序列),找到M (M<=2^(N(C-a))),a為任意小的正數)個碼字，分別代表M個等可能性的消息，組成一個碼以及相應的解碼規則，使通道輸出端的最小平均 錯誤解碼概率Pmin達到任意小。

三：香農第三定理（保失真度準則下的有失真信源編碼定理）

設R(D)為一離散無記憶信源的信息率失真函數，並且選定有限的失真函數，對於任意允許平均失真度D>=0,和任意小的a>0,以及 任意足夠長的碼長N,則一定存在一種信源編碼W,其碼字個數為M<=EXP{N[R(D)+a]}，而編碼后碼的平均失真度D'(W)<=D +a。