資訊理論與編碼

本書系統論述香農資訊理論的基本理論，介紹編碼的基本方法．全書共分12章。內容包括：信息的定義、資訊理論的基本思路；單符號離散信源與通道、信息熵、互信息、通道容量、數據處理定理、加權熵、效用信息熵；多符號離散信源與通道、極限熵、獨立並列通道的通道容量；連續信源與通道、相對熵、高斯白雜訊加性通道的通道容量；無失真信源編碼定理、霍夫曼編碼方法；抗干擾通道編碼定理、線性分組碼、漢明碼與擴展漢明碼；限失真信源編碼定理、信息率失真函數、數據壓縮原理、信息價值、廣義信息率失真函數；信源通道編碼定理；網路信息理論等．

本書可作為高等院校、科研院所相關專業的研究生、高年級本科生的教材或教學參考書，也可供從事信息理論、信息技術和信息科學的教學、科研和工程技術人員參考

第三版前言

再版前言

前言

引言

第一章 單符號離散信源

第一節 信源的數學模型

第二節 信源符號的自信量

第三節 信源的信息熵

第四節 信息熵的代數性質

第五節 信息熵的解析性質

第六節 最大離散熵定理

*第七節 均值受限的最大離散熵

第八節 熵函數的唯一性定理

*第九節 加權熵及其數學特性

*第十節 加權熵的唯一性定理

*第十一節 效用信息熵

第二章 單符號離散通道

第一節 通道的數學模型

第二節 通道的交互信息量

第三節 條件交互信息量

第四節 平均交互信息量

第五節 平均交互信息量的非負性

第六節 平均交互信息量的極值性

第七節 平均交互信息量的不增性

第八節 平均交互信息量的上凸性

第九節 通道容量及其一般演演算法

第十節 通道容量的等量平衡定理

第十一 節幾種無噪通道的通道容量

第十二節 幾種對稱通道的通道容量

第十三節 可逆矩陣通道的通道容量

第十四節 通道容量的迭代計算

第三章 多符號離散信源與通道

第一節 離散平穩信源的數學模型

第二節 離散平穩無記憶信源的信息熵

第三節 離散平穩有記憶信源的信息熵

第四節 離散平穩有記憶信源的極限熵

第五節 馬爾柯夫(Markov)信源的極限熵

第六節 信源的剩餘度與結構信息

第七節 擴展通道及其數學模型

第八節 無記憶擴展通道

第九節 擴展通道的平均交互信息量

第十節 無記憶擴展通道的通道容量

第十一節 獨立並列通道的通道容量

第四章 單維連續信源與通道

第一節 連續信源的相對熵

第二節 連續通道和平均交互信息量

第三節 幾種連續信源的相對熵

第四節 相對熵的數學特性

第五節 最大相對熵定理

第六節 熵功率與信息變差

第七節 相對熵的變換

第八節 平均交互信息量的不變性

第九節 連續通道的數據處理定理

第十節 連續信源的信息測量

第十一節 連續通道的通道容量

第十二節 高斯加性通道的通道容量

第五章 多維連續信源與通道

第一節 隨機過程的離散化

第二節 多維連續信源的相對熵

第三節 最大多維相對熵定理

第四節 多維相對熵的變換

第五節 無記憶通道的平均交互信息量

第六節 高斯白雜訊加性通道的容量

第七節 獨立並列高斯加性通道容量的最大化

第六章 無失真信源編碼

第一節 單義可解碼

第二節 非延長碼及其構成

第三節 單義可譯定理

第四節 平均碼長與碼率

第五節 信源擴展與數據壓縮

第六節 無失真信源編碼定理

第七節 霍夫曼（Huffman）碼

第七章 抗干擾通道編碼

第一節 解碼規則和錯誤概率

第二節 最小錯誤概率解碼準則

第三節 簡單重複編碼

第四節 通道編碼的一般概念

第五節 漢明（Hamming）距離與最小誤碼率

第六節 抗干擾通道編碼定理

第八章 線性分組碼

第一節 線性分組碼的一般概念

第二節 線性分組碼的代數結構

第三節 線性分組碼的構成

第四節 一致校驗矩陣

第五節 錯誤圖樣與伴隨式

第六節 標準陣列與解碼表

第七節 檢糾能力與一致校驗矩陣的關係

第八節 完備碼

第九節 漢明（Hamming）碼與擴展漢明碼

第九章 信息率-失真函數

第一節 平均交互信息量的下凸性

第二節 平均失真度

第三節 信息率-失真函數的定義

第四節R（D）函數的定義域

第五節R（D）函數的數學特性

第六節 二元離散信源的R(D)函數

第七節 等概離散信源的R（D）函數

第八節 離散信源R（D）函數的參量表述

第九節 二元離散信源R（D）函數的參量計算

第十節 高斯連續信源的R（D）函數

第十一節 連續信源R（D）函數的參量表述

第十二節 高斯連續信源R（D）函數的參量計算

第十三節R（D）函數的迭代計算

第十四節R（D）函數與信息價值

第十五節 廣義信息率-失真函數

第十章 限失真信源編碼

第一節 離散無記憶擴展信源的R（D）函數

第二節 數據壓縮的一般概念

第三節 限失真信源編碼定理

第十一章 信源-通道編碼

第一節 信息傳輸速率的上界

第二節 信源-通道編碼定理

*第十二章 網路信息理論

第一節 雙輸入單輸出通道的通道容量

第二節 離散二址接入通道的容量計算

第三節 高斯加性二址接入通道的容量計算

第四節 單輸入雙輸出通道的通道容量

第五節 高斯鏈式接續通道的容量計算

附錄《供熵函數計算用的幾種函數表》

參考文獻

（註：有*符號的章節和習題，可作為參考內容，不列入教學計劃）