離散資訊理論基礎

本書從離散概率人手，對離散資訊理論的基本知識進行了介紹，主要內容包括：緒論，離散信息的度量，數據壓縮，離散信源，數據糾錯，離散通道，數據保密，演演算法資訊理論與通用信源編碼，微分熵與最大熵原理。為拓寬讀者視野，培養學習興趣，提高人文素養，本書融人了一些歷史知識，還補充了資訊理論實驗內容。

本書可供信息安全、信息與計算科學、計算機科學與技術等本科專業的高年級學生使用，也可供從事相關專業的教學、科研和工程技術人員參考。

第1章

緒論

1.1　基本概念

1.1.1　信息的含義

1.1.2　信息的表達

1.1.3　信息的處理

1.2　資訊理論概覽

1.2.1　Shannon與資訊理論

1.2.2　通信系統的數學模型

本章小結

習題

第2章

離散信息的度量

2.1　基本概念

2.1.1　離散熵的定義

2.1.2　聯合熵與條件熵

2.1.3相對熵與互信息