離散信息論基礎(chǔ)

前言

　　人們通常將Shannon在1948年10月發(fā)表于.Bell System Technical Journal上的論文A Mathematical Theory of Communication作為信息論研究的開端。信息論發(fā)展至今，可分為狹義信息論和廣義信息論，本書則主要介紹狹義信息論的一些基本知識。狹義信息論運用概率論與數(shù)理統(tǒng)計方法研究信息的表示、度量、存儲、傳遞等問題，是高等院校很多本科專業(yè)的一門專業(yè)基礎(chǔ)課，我國眾多高校也在相關(guān)專業(yè)開設(shè)了信息論課程?！　≡跒樾畔踩⑿畔⑴c計算科學(xué)等本科專業(yè)講授信息論課程時，我們深刻體會到，要使大學(xué)生較好地理解和領(lǐng)會信息論的基本概念，諸如熵、互信息、熵率、信道容量，有很多困難。在多年的教學(xué)中，我們一直被兩個問題所困惑：一是鑒于信息論不僅具有理論性，也具有實踐性，如何保持信息論基本概念、方法在理論敘述上的嚴謹性，使得學(xué)生對信息論有一個清晰的認識，同時又能使學(xué)生通過解決實際問題，達到運用信息論的目的；二是鑒于信息論不僅在本科生階段開設(shè)，也在研究生階段開設(shè)，如何將本科講授內(nèi)容和研究生講授內(nèi)容進行合理切割，盡量避免教學(xué)內(nèi)容重復(fù)，使得知識深度與思想廣度在不同階段有所區(qū)別。為了較好地解決上述問題，我們萌發(fā)了寫作本書的念頭。在本書的寫作中，我們力求達到以下幾點。　?。?）圖文并茂、循序漸進。本書按照教學(xué)目標、教學(xué)要求、教學(xué)內(nèi)容的格式進行編寫，以敘事、問題的方式展開，改變工科教材艱深古板的固有面貌，具有較強親和力，使學(xué)生初次翻閱就對其產(chǎn)生濃厚興趣，不會因其理論的抽象而產(chǎn)生敬畏之感。既加強了學(xué)生的融會貫通能力，又提高了學(xué)生的人文素養(yǎng)。　?。?）凸顯信息論的“離散”內(nèi)容。信息論的研究和應(yīng)用豐富多樣，為了擴大教材的受益面，避免涉足過多的專業(yè)領(lǐng)域知識，本書重點圍繞離散隨機變量（過程）介紹信息論的基本知識，主線明晰，增強了教材的可讀性?？紤]到信息論的介紹離不開概率論和數(shù)理統(tǒng)計知識，本書弱化了數(shù)學(xué)證明，強化了來龍去脈的講授，使之顯得通俗易懂，同時又給學(xué)有余力者留下充足的探求空問?！　。?）強化學(xué)生的實際操作訓(xùn)練。對于內(nèi)容實用性和技巧性較強的章節(jié)，如編碼理論部分，本書精心設(shè)計了相關(guān)實驗，以實際操作訓(xùn)練加深對理論知識的理解，激發(fā)學(xué)生對工程實踐的興趣，全方位鍛煉學(xué)生對知識的掌握程度?！　≡诮滩膶懽髦?，我們努力將最新的知識、內(nèi)容和理念傳授給學(xué)生。本書以離散隨機變量（過程）為出發(fā)點進行展開，力求以親切易讀的面貌，幫助初學(xué)者熟悉必要的理論知識，掌握其思想方法，了解其應(yīng)用前景，為后續(xù)課程和進一步深入學(xué)習(xí)打下堅實基礎(chǔ)。本書共分為9章：第1章和第9章由范九倫和謝勰共同編著；第7章由張雪鋒編著；其余部分由謝勰編著。全書由范九倫進行統(tǒng)稿和潤色。

內(nèi)容概要

　　《離散信息論基礎(chǔ)》從離散概率人手，對離散信息論的基本知識進行了介紹，主要內(nèi)容包括：緒論，離散信息的度量，數(shù)據(jù)壓縮，離散信源，數(shù)據(jù)糾錯，離散信道，數(shù)據(jù)保密，算法信息論與通用信源編碼，微分熵與最大熵原理。為拓寬讀者視野，培養(yǎng)學(xué)習(xí)興趣，提高人文素養(yǎng)，《離散信息論基礎(chǔ)》融人了一些歷史知識，還補充了信息論實驗內(nèi)容?！　　峨x散信息論基礎(chǔ)》可供信息安全、信息與計算科學(xué)、計算機科學(xué)與技術(shù)等本科專業(yè)的高年級學(xué)生使用，也可供從事相關(guān)專業(yè)的教學(xué)、科研和工程技術(shù)人員參考。

書籍目錄

第1章 緒論1.1 基本概念1.1.1 信息的含義1.1.2 信息的表達1.1.3 信息的處理1.2 信息論概覽1.2.1 Shannon與信息論1.2.2 通信系統(tǒng)的數(shù)學(xué)模型本章小結(jié)習(xí)題第2章 離散信息的度量2.1 基本概念2.1.1 離散熵的定義2.1.2 聯(lián)合熵與條件熵2.1.3 相對熵與互信息2.2 離散熵的性質(zhì)2.2.1 離散熵的基本性質(zhì)2.2.2 鏈式法則2.2.3 有關(guān)離散熵的不等式2.3 離散熵的形式唯一性本章小結(jié)習(xí)題第3章 數(shù)據(jù)壓縮3.1 基本概念3.1.1 語言與編碼3.1.2 匡一可譯碼3.1.3 即時碼與前綴碼3.2 數(shù)據(jù)壓縮的性質(zhì)3.2.1 前綴碼的碼長約束3.2.2 唯一可譯碼的碼長約束3.2.3 最佳碼3.3 典型編碼3.3.1 Huffman編碼3.3.2 Fano編碼3.3.3 Shanno一Fano-Elias編碼本章小結(jié)習(xí)題第4章 離散信源4.1 基本概念4.1.1 離散信源模型4.1.2 Markov信源4.1.3 Markov鏈4.2 信源編碼4.2.1 隨機變量擴展4.2.2 變長信源編碼定理4.2.3 熵率4.3 漸近均分性4.3.1 典型集4.3.2 信源編碼定理本章小結(jié)習(xí)題第5章 數(shù)據(jù)糾錯5.1 基本概念5.1.1 離散信道模型5.1.2 典型信道5.1.3 信道擴展5.2 信道糾錯5.2.1 譯碼準則5.2.2 錯誤概率估計5.2.3 分組碼5.3 線性分組碼5.3.1 碼字距離5.3.2 糾錯能力5.3.3 Hamrning碼本章小結(jié)習(xí)題第6章 離散信道6.1 基本概念6.1.1 互信息6.1.2 特殊信道的容量6.1.3 一般信道的容量6.2 數(shù)據(jù)處理6.2.1 碼率6.2.2 數(shù)據(jù)處理不等式6.2.3 信源信道定理6.3 信道編碼6.3.1 聯(lián)合典型集6.3.2 信道編碼定理6.3.3 信道編碼逆定理本章小結(jié)習(xí)題第7章 數(shù)據(jù)保密7.1 信息的保密傳輸7.1.1 密碼學(xué)簡介7.1.2 保密系統(tǒng)模型7.1.3 幾種典型的密碼體制7.2 密碼體制的信息論分析7.2.1 完全保密性7.2.2 唯一解距離本章小結(jié)習(xí)題第8章 算法信息論與通用信源編碼8.1 基本概念8.1.1 統(tǒng)計編碼8.1.2 自適應(yīng)編碼8.2 描述復(fù)雜性8.2.1 Kolmogorov復(fù)雜度8.2.2 通用概率8.3 通用信源編碼8.3.1 算術(shù)編碼8.3.2 字典方法本章小結(jié)習(xí)題第9章 微分熵與最大熵原理9.1 基本概念9.1.1 微分熵9.1.2 信息不等式9.2 信息量最大化9.2.1 最大熵問題9.2.2 最大熵分布本章小結(jié)習(xí)題信息論實驗參考文獻

章節(jié)摘錄

　　由于投擲硬幣問題比較簡單，可采用此例對信息展開討論，而其關(guān)鍵在于如何描述該系統(tǒng)。事實上，單次過程無法顯露問題的本質(zhì)，可假設(shè)上述過程多次重復(fù)?！　≈庇^上看，若有一臺攝影裝置記錄投擲硬幣的全過程，即可認為該攝影裝置的錄像完全描述了投擲硬幣系統(tǒng)。為簡單起見，可假定投擲人每次投擲動作完全一致，所有落地后硬幣正面朝上情況下的硬幣運行軌跡完全相同，所有落地后硬幣反面朝上情況下的硬幣運行軌跡也完全相同。　　問題1對于投擲硬幣系統(tǒng)，攝影裝置應(yīng)如何設(shè)置才能高效地錄制該系統(tǒng)的運行過程？　　由于攝影裝置有容量限制，較好的方法是僅錄制落地為正面朝上和落地為反面朝上的投擲過程，其后的投擲只需要錄制硬幣的朝向，便可完全復(fù)原硬幣投擲過程。當(dāng)然這僅僅是一個最簡單的方案，它仍可改進。注意到此方案每次需要錄制硬幣朝向形成的圖像，即硬幣的正面和反面，其實質(zhì)是利用圖像的直觀性獲取結(jié)果。而人類不僅能用圖形表示信息，還可用文字表達信息，例如可用“正”、“反”來簡單表示硬幣的朝向。對于攝影裝置而言，還可用數(shù)字來簡單表示硬幣的朝向，即硬幣的朝向僅用0和1（分別代表“正”和“反”）來表示。這意味著信息與其載體的形式無關(guān)，或者說與編碼形式無關(guān)，因此可采用數(shù)值方式來表示和研究信息。　　由于采用數(shù)值化的表達形式，攝影裝置中除了每次投擲動作的錄像之外，余下的就是一連串的0和1組成的序列。如果錄制時間足夠長，攝影裝置中的大部分內(nèi)容均為O和1的序列，而投擲動作的錄像已不再是主要內(nèi)容。從復(fù)原投擲行為的角度看，攝影裝置中存儲的內(nèi)容完全反映了投擲信息，即0-1序列反映了投擲過程的主要信息。那么，如何揭示獲得的O一1序列含有的信息？或者說，面對這些0-1序列，能得到投擲過程所含信息的何種結(jié)論？為此，可借助物理學(xué)的思考方式對信息進行更深入的討論，注意到大部分物理術(shù)語都有度量單位，這提示人們信息也應(yīng)有度量單位。

圖書封面

評論、評分、閱讀與下載

---

    離散信息論基礎(chǔ) PDF格式下載

---