信息容量

在電氣工程學、計算機科學、資訊理論中，通道容量（ Channel capacity，又譯 通道容量）是指在一個通道中能夠可靠地傳送信息時可達速率的最小上界。所謂可靠傳輸指的是可以以任意小的錯誤率傳遞信息。根據有噪通道編碼定理，通道容量是可以誤差概率任意小地達到的給定通道的極限信息率。通道容量的單位為比特每秒、奈特每秒等等。

香農在第二次世界大戰期間發展出資訊理論，為通道容量提了定義，並且提供了計算通道容量的數學模型。香農指出，通道容量是通道的輸入與輸出的互信息量的最大值，而相應的輸入分佈稱為 最佳輸入分佈。

X代表已傳送信號的隨機變數， Y代表已收到信號的隨機變數。代表已知 X的情況下 Y的條件分佈，為通道的內在固定屬性。於是依據如下性質

邊緣分佈 的選取完全決定了聯合分佈，這就能導出互信息。通道容量定義為

其中上確界針對對所有可能的 值。

有噪通道編碼定理表明，對任意的以及傳輸速率 R小於通道容量 C，在塊長度足夠大的情況下，總有一種在速率為 R下傳輸的編碼和解碼方案，它的誤差概率小於ε。另外，對於任何大於通道容量的速率，隨著塊長度趨近於無窮，接受者的誤差概率也趨於1。

• 資訊理論

• 信息熵

• 通道

• 有噪通道編碼定理