信息論基礎(chǔ)教程

前言

　　信息論是現(xiàn)代信息通信領(lǐng)域的基礎(chǔ)理論，是研究信息傳輸和信息處理的一般規(guī)律的科學(xué)，因此目前各高等院校相關(guān)專業(yè)的本科生、研究生都開設(shè)了這門課。　　在借鑒了國內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后，作者根據(jù)多年的教學(xué)實踐經(jīng)驗編寫了《信息論基礎(chǔ)教程》。本書以香農(nóng)的三個編碼定理為中心，重點講述了相關(guān)的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學(xué)時，本書只是講述經(jīng)典信息論的內(nèi)容，沒有涉及過多的分支?！　”緯允棺x者掌握基本概念和方法為目的，力圖以讀者最易接受的方式介紹信息論的基本內(nèi)容及應(yīng)用。本書可作為通信及電子信息類相關(guān)專業(yè)高年級本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書?！　”緯还卜譃?章，外加兩個附錄。第1章緒論，主要介紹了香農(nóng)信息論的研究對象、目的和內(nèi)容；第2章介紹了關(guān)于信息度量的幾個重要概念：自信息、互信息、信息熵、平均互信息以及數(shù)據(jù)處理定理；第3章研究定量度量信源產(chǎn)生信息的能力和信源冗余度的問題；第4章研究定量描述信道傳遞信息能力的問題，并介紹了信道容量的計算方法；第5章的核心內(nèi)容是香農(nóng)的無失真信源編碼定理。圍繞這個定理我們介紹了無失真信源編碼的基本概念，講述了幾種實用的無失真信源編碼方法。第6章講述香農(nóng)的有噪信道編碼定理以及糾錯編碼的主要內(nèi)容，介紹了信道編碼的基本概念、基本理論；第7章介紹香農(nóng)的限失真信源編碼定理，引入了信息率失真函數(shù)的概念并介紹了信息率失真函數(shù)的性質(zhì)以及計算方法，然后還介紹了幾種常用的熵壓縮編碼算法。附錄A是一些學(xué)習(xí)本課程需要用到的數(shù)學(xué)知識。附錄B為上機作業(yè)。帶星號部分為根據(jù)學(xué)時安排的選修內(nèi)容。

內(nèi)容概要

　　信息論是現(xiàn)代信息通信領(lǐng)域的基礎(chǔ)理論，是研究信息傳輸和信息處理的一般規(guī)律的科學(xué)。我們在借鑒了國內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后編寫了《信息論基礎(chǔ)教程》。本書以香農(nóng)的三個編碼定理為中心，重點講述了相關(guān)的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學(xué)時，本書只是講述經(jīng)典信息論的內(nèi)容，沒有涉及過多的分支?！　”緯勺鳛橥ㄐ偶半娮有畔㈩愊嚓P(guān)專業(yè)高年級本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書。

書籍目錄

第1章　緒論1.1　信息的概念1.2　信息論的研究對象、目的和內(nèi)容第2章　信息的度量2.1　自信息和互信息2.1.1　自信息2.1.2　互信息2.2　平均自信息2.2.1　平均自信息的概念2.2.2　熵函數(shù)的性質(zhì)2.2.3　聯(lián)合熵與條件熵2.3　平均互信息2.3.1　平均互信息的概念2.3.2　平均互信息的性質(zhì)2.3.3　數(shù)據(jù)處理定理習(xí)題2第3章　信源及信源熵3.1　信源的分類及其數(shù)學(xué)模型3.2　離散單符號信源3.3　離散多符號信源3.3.1　離散平穩(wěn)無記憶信源3.3.2　離散平穩(wěn)有記憶信源3.3.3　馬爾可夫信源3.3.4　信源的相關(guān)性和剩余度3.4　連續(xù)信源3.4.1　連續(xù)信源的微分熵3.4.2　連續(xù)信源的最大熵3.4.3　連續(xù)信源的熵功率習(xí)題3第4章　信道及信道容量4.1　信道的分類4.2　離散單符號信道及其信道容量4.2.1　離散單符號信道的數(shù)學(xué)模型4.2.2　信道容量的概念4.2.3　幾種特殊信道的信道容量4.2.4　離散對稱信道的信道容量4.2.5　一般離散信道的信道容量4.2.6　信道容量定理4.2.7　信道容量的迭代算法4.3　離散多符號信道及其信道容量4.4　組合信道及其信道容量4.4.1　獨立并聯(lián)信道4.4.2　級聯(lián)信道4.5　連續(xù)信道及其信道容量4.5.1　連續(xù)隨機變量的互信息4.5.2　高斯加性信道的信道容量4.5.3　多維高斯加性信道的信道容量4.6　波形信道及其信道容量習(xí)題4第5章　無失真信源編碼5.1　信源編碼的相關(guān)概念5.1.1　編碼器5.1.2　碼的分類5.2　定長碼及定長信源編碼定理5.3　變長碼及變長信源編碼定理5.3.1　Kraft不等式和McMman不等式5.3.2　唯一可譯碼的判別準則5.3.3　緊致碼平均碼長界限定理5.3.4　無失真變長信源編碼定理（香農(nóng)第一定理）5.4　變長碼的編碼方法5.4.1　香農(nóng)編碼5.4.2　香農(nóng)一費諾一埃利斯編碼5.4.3　二元霍夫曼碼5.4.4　r元霍夫曼碼5.4.5　費諾碼5.5　實用的無失真信源編碼方法5.5.1　游程編碼5.5.2　算術(shù)編碼5.5.3　LZW編碼習(xí)題5第6章　有噪信道編碼6.1　信道編碼的相關(guān)概念6.1.1　錯誤概率和譯碼規(guī)則6.1.2　錯誤概率與編碼方法6.2　有噪信道編碼定理6.3　錯誤概率的上界6.4　糾錯編碼6.4.1　糾錯碼分類6.4.2　糾錯碼的基本概念6.4.3　線性分組碼6.4.4　卷積碼習(xí)題6第7章　限失真信源編碼7.1　失真測度7.1.1　失真函數(shù)7.1.2　平均失真7.2　信息率失真函數(shù)7.2.1　D失真許可信道7.2.2　信息率失真函數(shù)的定義7.2.3　信息率失真函數(shù)R（D）的性質(zhì)7.3　限失真信源編碼定理7.4　信息率失真函數(shù)的計算7.4.1　應(yīng)用參量表示式計算R（D）7.4.2　率失真函數(shù)的迭代算法7.5　常用的限失真信源編碼方法7.5.1　量化編碼7.5.2　子帶編碼7.5.3　預(yù)測編碼7.5.4　變換編碼習(xí)題7附錄A　數(shù)學(xué)預(yù)備知識A.1　概率論與隨機過程A.1.1　概率論的基本概念A(yù).1.2　隨機變量及其分布A.1.3　多維隨機變量及其分布A.1.4　隨機變量的數(shù)字特征A.1.5　隨機過程A.2　凸函數(shù)及Jensen不等式A.3　信道容量定理引理A.4　漸進等分割性和￡典型序列附錄B　上機作業(yè)B.1　信道容量的迭代算法B.2　唯一可譯碼判決準則B.3　Shannon編碼B.4　Huffman編碼B.5　Fano編碼B.6　LZW編碼B.7　BSC模擬器B.8　Hamming（7，4）編譯碼器B.9　通信系統(tǒng)仿真參考文獻

章節(jié)摘錄

　　第1章 緒論　　信息論是通信的數(shù)學(xué)基礎(chǔ)，它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來的一門新興的橫斷學(xué)科。　　信息論創(chuàng)立的標(biāo)志是1948年香農(nóng)發(fā)表的論文“A Mathematical Therory of Communication”。為了解決在噪聲信道中有效傳輸信息的問題，香農(nóng)在這篇文章中創(chuàng)造性地采用概率論的方法來研究通信中的問題，并且對信息給予了科學(xué)的定量描述，第一次提出了信息熵的概念?！　≡谌粘Ｉ钪?，人們往往對消息和信息不加區(qū)別，認為消息就是信息。例如，當(dāng)人們收到一封電報，或者聽了天氣預(yù)報，人們就說得到了信息?！　∪藗兪盏较⒑?，如果消息告訴了我們很多原來不知道的新內(nèi)容，我們會感到獲得了很多的信息，而如果消息是我們基本已經(jīng)知道的內(nèi)容，我們得到的信息就不多，所以信息應(yīng)該是可以度量的。那么怎樣度量信息呢?人們需要有一個可以用數(shù)學(xué)模型來表示的信息概念?！　?928年，哈特萊(Hartley)首先提出了對數(shù)度量信息的概念，即一個消息所含有的信息量用它的所有可能的取值的個數(shù)的對數(shù)來表示。比如，拋擲一枚硬幣可能有兩種結(jié)果：正面和反面，所以當(dāng)我們得知拋擲結(jié)果后獲得的信息量是log22—1bit。而一個十進制數(shù)字可以表示O～9中的任意一個符號，所以一個十進制數(shù)字含有l(wèi)og210=3．322 bit的信息量。這里對數(shù)取以2為底，信息量的單位為bit?！　」厝R的工作給了香農(nóng)很大的啟示，他進一步注意到消息的信息量不僅與它的可能值的個數(shù)有關(guān)，還與消息本身的不確定性有關(guān)。例如，拋擲一枚偏畸硬幣，如果正面向上的可能性是90％，那么當(dāng)我們得知拋擲結(jié)果是反面時得到的信息量會比得知拋擲結(jié)果是正面時得到的信息量大?！　∫粋€消息之所以會含有信息，正是因為它具有不確定性，一個不具有不確定性的消息是不會含有任何信息的，而通信的目的就是為了消除或部分消除這種不確定性。比如，在得知硬幣的拋擲結(jié)果前，我們對于結(jié)果會出現(xiàn)正面還是反面是不確定的，通過通信，我們得知了硬幣的拋擲結(jié)果，消除了不確定性，從而獲得了信息，因此，信息是對事物運動狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義?！　　?/pre>




編輯推薦
　　本書以使讀者掌握基本概念和方法為目的，力圖以讀者最易接受的方式介紹信息論的基本內(nèi)容及應(yīng)用。本書可作為通信及電子信息類相關(guān)專業(yè)高年級本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書。 本書一共分為7章，外加兩個附錄。第1章緒論，主要介紹了香農(nóng)信息論的研究對象、目的和內(nèi)容；第2章介紹了關(guān)于信息度量的幾個重要概念：自信息、互信息、信息熵、平均互信息以及數(shù)據(jù)處理定理；第3章研究定量度量信源產(chǎn)生信息的能力和信源冗余度的問題；第4章研究定量描述信道傳遞信息能力的問題，并介紹了信道容量的計算方法；第5章的核心內(nèi)容是香農(nóng)的無失真信源編碼定理。圍繞這個定理我們介紹了無失真信源編碼的基本概念，講述了幾種實用的無失真信源編碼方法。第6章講述香農(nóng)的有噪信道編碼定理以及糾錯編碼的主要內(nèi)容，介紹了信道編碼的基本概念、基本理論；第7章介紹香農(nóng)的限失真信源編碼定理，引入了信息率失真函數(shù)的概念并介紹了信息率失真函數(shù)的性質(zhì)以及計算方法，然后還介紹了幾種常用的熵壓縮編碼算法。附錄A是一些學(xué)習(xí)本課程需要用到的數(shù)學(xué)知識。附錄B為上機作業(yè)。帶星號部分為根據(jù)學(xué)時安排的選修內(nèi)容。





圖書封面






評論、評分、閱讀與下載



還沒讀過(51)
勉強可看(375)
一般般(640)
內(nèi)容豐富(2654)
強力推薦(217)


 


    信息論基礎(chǔ)教程 PDF格式下載