信息論基礎(chǔ)教程

前言

　　信息論是現(xiàn)代信息通信領(lǐng)域的基礎(chǔ)理論，是研究信息傳輸和信息處理的一般規(guī)律的科學(xué)，因此目前各高等院校相關(guān)專業(yè)的本科生、研究生都開(kāi)設(shè)了這門(mén)課?！　≡诮梃b了國(guó)內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后，作者根據(jù)多年的教學(xué)實(shí)踐經(jīng)驗(yàn)編寫(xiě)了《信息論基礎(chǔ)教程》。本書(shū)以香農(nóng)的三個(gè)編碼定理為中心，重點(diǎn)講述了相關(guān)的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學(xué)時(shí)，本書(shū)只是講述經(jīng)典信息論的內(nèi)容，沒(méi)有涉及過(guò)多的分支?！　”緯?shū)以使讀者掌握基本概念和方法為目的，力圖以讀者最易接受的方式介紹信息論的基本內(nèi)容及應(yīng)用。本書(shū)可作為通信及電子信息類相關(guān)專業(yè)高年級(jí)本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書(shū)?！　”緯?shū)一共分為7章，外加兩個(gè)附錄。第1章緒論，主要介紹了香農(nóng)信息論的研究對(duì)象、目的和內(nèi)容；第2章介紹了關(guān)于信息度量的幾個(gè)重要概念：自信息、互信息、信息熵、平均互信息以及數(shù)據(jù)處理定理；第3章研究定量度量信源產(chǎn)生信息的能力和信源冗余度的問(wèn)題；第4章研究定量描述信道傳遞信息能力的問(wèn)題，并介紹了信道容量的計(jì)算方法；第5章的核心內(nèi)容是香農(nóng)的無(wú)失真信源編碼定理。圍繞這個(gè)定理我們介紹了無(wú)失真信源編碼的基本概念，講述了幾種實(shí)用的無(wú)失真信源編碼方法。第6章講述香農(nóng)的有噪信道編碼定理以及糾錯(cuò)編碼的主要內(nèi)容，介紹了信道編碼的基本概念、基本理論；第7章介紹香農(nóng)的限失真信源編碼定理，引入了信息率失真函數(shù)的概念并介紹了信息率失真函數(shù)的性質(zhì)以及計(jì)算方法，然后還介紹了幾種常用的熵壓縮編碼算法。附錄A是一些學(xué)習(xí)本課程需要用到的數(shù)學(xué)知識(shí)。附錄B為上機(jī)作業(yè)。帶星號(hào)部分為根據(jù)學(xué)時(shí)安排的選修內(nèi)容。

內(nèi)容概要

　　信息論是現(xiàn)代信息通信領(lǐng)域的基礎(chǔ)理論，是研究信息傳輸和信息處理的一般規(guī)律的科學(xué)。我們?cè)诮梃b了國(guó)內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后編寫(xiě)了《信息論基礎(chǔ)教程》。本書(shū)以香農(nóng)的三個(gè)編碼定理為中心，重點(diǎn)講述了相關(guān)的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學(xué)時(shí)，本書(shū)只是講述經(jīng)典信息論的內(nèi)容，沒(méi)有涉及過(guò)多的分支?！　”緯?shū)可作為通信及電子信息類相關(guān)專業(yè)高年級(jí)本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書(shū)。

書(shū)籍目錄

第1章　緒論1.1　信息的概念1.2　信息論的研究對(duì)象、目的和內(nèi)容第2章　信息的度量2.1　自信息和互信息2.1.1　自信息2.1.2　互信息2.2　平均自信息2.2.1　平均自信息的概念2.2.2　熵函數(shù)的性質(zhì)2.2.3　聯(lián)合熵與條件熵2.3　平均互信息2.3.1　平均互信息的概念2.3.2　平均互信息的性質(zhì)2.3.3　數(shù)據(jù)處理定理習(xí)題2第3章　信源及信源熵3.1　信源的分類及其數(shù)學(xué)模型3.2　離散單符號(hào)信源3.3　離散多符號(hào)信源3.3.1　離散平穩(wěn)無(wú)記憶信源3.3.2　離散平穩(wěn)有記憶信源3.3.3　馬爾可夫信源3.3.4　信源的相關(guān)性和剩余度3.4　連續(xù)信源3.4.1　連續(xù)信源的微分熵3.4.2　連續(xù)信源的最大熵3.4.3　連續(xù)信源的熵功率習(xí)題3第4章　信道及信道容量4.1　信道的分類4.2　離散單符號(hào)信道及其信道容量4.2.1　離散單符號(hào)信道的數(shù)學(xué)模型4.2.2　信道容量的概念4.2.3　幾種特殊信道的信道容量4.2.4　離散對(duì)稱信道的信道容量4.2.5　一般離散信道的信道容量4.2.6　信道容量定理4.2.7　信道容量的迭代算法4.3　離散多符號(hào)信道及其信道容量4.4　組合信道及其信道容量4.4.1　獨(dú)立并聯(lián)信道4.4.2　級(jí)聯(lián)信道4.5　連續(xù)信道及其信道容量4.5.1　連續(xù)隨機(jī)變量的互信息4.5.2　高斯加性信道的信道容量4.5.3　多維高斯加性信道的信道容量4.6　波形信道及其信道容量習(xí)題4第5章　無(wú)失真信源編碼5.1　信源編碼的相關(guān)概念5.1.1　編碼器5.1.2　碼的分類5.2　定長(zhǎng)碼及定長(zhǎng)信源編碼定理5.3　變長(zhǎng)碼及變長(zhǎng)信源編碼定理5.3.1　Kraft不等式和McMman不等式5.3.2　唯一可譯碼的判別準(zhǔn)則5.3.3　緊致碼平均碼長(zhǎng)界限定理5.3.4　無(wú)失真變長(zhǎng)信源編碼定理（香農(nóng)第一定理）5.4　變長(zhǎng)碼的編碼方法5.4.1　香農(nóng)編碼5.4.2　香農(nóng)一費(fèi)諾一埃利斯編碼5.4.3　二元霍夫曼碼5.4.4　r元霍夫曼碼5.4.5　費(fèi)諾碼5.5　實(shí)用的無(wú)失真信源編碼方法5.5.1　游程編碼5.5.2　算術(shù)編碼5.5.3　LZW編碼習(xí)題5第6章　有噪信道編碼6.1　信道編碼的相關(guān)概念6.1.1　錯(cuò)誤概率和譯碼規(guī)則6.1.2　錯(cuò)誤概率與編碼方法6.2　有噪信道編碼定理6.3　錯(cuò)誤概率的上界6.4　糾錯(cuò)編碼6.4.1　糾錯(cuò)碼分類6.4.2　糾錯(cuò)碼的基本概念6.4.3　線性分組碼6.4.4　卷積碼習(xí)題6第7章　限失真信源編碼7.1　失真測(cè)度7.1.1　失真函數(shù)7.1.2　平均失真7.2　信息率失真函數(shù)7.2.1　D失真許可信道7.2.2　信息率失真函數(shù)的定義7.2.3　信息率失真函數(shù)R（D）的性質(zhì)7.3　限失真信源編碼定理7.4　信息率失真函數(shù)的計(jì)算7.4.1　應(yīng)用參量表示式計(jì)算R（D）7.4.2　率失真函數(shù)的迭代算法7.5　常用的限失真信源編碼方法7.5.1　量化編碼7.5.2　子帶編碼7.5.3　預(yù)測(cè)編碼7.5.4　變換編碼習(xí)題7附錄A　數(shù)學(xué)預(yù)備知識(shí)A.1　概率論與隨機(jī)過(guò)程A.1.1　概率論的基本概念A(yù).1.2　隨機(jī)變量及其分布A.1.3　多維隨機(jī)變量及其分布A.1.4　隨機(jī)變量的數(shù)字特征A.1.5　隨機(jī)過(guò)程A.2　凸函數(shù)及Jensen不等式A.3　信道容量定理引理A.4　漸進(jìn)等分割性和￡典型序列附錄B　上機(jī)作業(yè)B.1　信道容量的迭代算法B.2　唯一可譯碼判決準(zhǔn)則B.3　Shannon編碼B.4　Huffman編碼B.5　Fano編碼B.6　LZW編碼B.7　BSC模擬器B.8　Hamming（7，4）編譯碼器B.9　通信系統(tǒng)仿真參考文獻(xiàn)

章節(jié)摘錄

　　第1章 緒論　　信息論是通信的數(shù)學(xué)基礎(chǔ)，它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來(lái)的一門(mén)新興的橫斷學(xué)科。　　信息論創(chuàng)立的標(biāo)志是1948年香農(nóng)發(fā)表的論文“A Mathematical Therory of Communication”。為了解決在噪聲信道中有效傳輸信息的問(wèn)題，香農(nóng)在這篇文章中創(chuàng)造性地采用概率論的方法來(lái)研究通信中的問(wèn)題，并且對(duì)信息給予了科學(xué)的定量描述，第一次提出了信息熵的概念?！　≡谌粘Ｉ钪?，人們往往對(duì)消息和信息不加區(qū)別，認(rèn)為消息就是信息。例如，當(dāng)人們收到一封電報(bào)，或者聽(tīng)了天氣預(yù)報(bào)，人們就說(shuō)得到了信息?！　∪藗兪盏较⒑?，如果消息告訴了我們很多原來(lái)不知道的新內(nèi)容，我們會(huì)感到獲得了很多的信息，而如果消息是我們基本已經(jīng)知道的內(nèi)容，我們得到的信息就不多，所以信息應(yīng)該是可以度量的。那么怎樣度量信息呢?人們需要有一個(gè)可以用數(shù)學(xué)模型來(lái)表示的信息概念?！　?928年，哈特萊(Hartley)首先提出了對(duì)數(shù)度量信息的概念，即一個(gè)消息所含有的信息量用它的所有可能的取值的個(gè)數(shù)的對(duì)數(shù)來(lái)表示。比如，拋擲一枚硬幣可能有兩種結(jié)果：正面和反面，所以當(dāng)我們得知拋擲結(jié)果后獲得的信息量是log22—1bit。而一個(gè)十進(jìn)制數(shù)字可以表示O～9中的任意一個(gè)符號(hào)，所以一個(gè)十進(jìn)制數(shù)字含有l(wèi)og210=3．322 bit的信息量。這里對(duì)數(shù)取以2為底，信息量的單位為bit。　　哈特萊的工作給了香農(nóng)很大的啟示，他進(jìn)一步注意到消息的信息量不僅與它的可能值的個(gè)數(shù)有關(guān)，還與消息本身的不確定性有關(guān)。例如，拋擲一枚偏畸硬幣，如果正面向上的可能性是90％，那么當(dāng)我們得知拋擲結(jié)果是反面時(shí)得到的信息量會(huì)比得知拋擲結(jié)果是正面時(shí)得到的信息量大?！　∫粋€(gè)消息之所以會(huì)含有信息，正是因?yàn)樗哂胁淮_定性，一個(gè)不具有不確定性的消息是不會(huì)含有任何信息的，而通信的目的就是為了消除或部分消除這種不確定性。比如，在得知硬幣的拋擲結(jié)果前，我們對(duì)于結(jié)果會(huì)出現(xiàn)正面還是反面是不確定的，通過(guò)通信，我們得知了硬幣的拋擲結(jié)果，消除了不確定性，從而獲得了信息，因此，信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義?！　　?/pre>




編輯推薦
　　本書(shū)以使讀者掌握基本概念和方法為目的，力圖以讀者最易接受的方式介紹信息論的基本內(nèi)容及應(yīng)用。本書(shū)可作為通信及電子信息類相關(guān)專業(yè)高年級(jí)本科生和研究生教材，也可作為相關(guān)專業(yè)科研人員的參考書(shū)。 本書(shū)一共分為7章，外加兩個(gè)附錄。第1章緒論，主要介紹了香農(nóng)信息論的研究對(duì)象、目的和內(nèi)容；第2章介紹了關(guān)于信息度量的幾個(gè)重要概念：自信息、互信息、信息熵、平均互信息以及數(shù)據(jù)處理定理；第3章研究定量度量信源產(chǎn)生信息的能力和信源冗余度的問(wèn)題；第4章研究定量描述信道傳遞信息能力的問(wèn)題，并介紹了信道容量的計(jì)算方法；第5章的核心內(nèi)容是香農(nóng)的無(wú)失真信源編碼定理。圍繞這個(gè)定理我們介紹了無(wú)失真信源編碼的基本概念，講述了幾種實(shí)用的無(wú)失真信源編碼方法。第6章講述香農(nóng)的有噪信道編碼定理以及糾錯(cuò)編碼的主要內(nèi)容，介紹了信道編碼的基本概念、基本理論；第7章介紹香農(nóng)的限失真信源編碼定理，引入了信息率失真函數(shù)的概念并介紹了信息率失真函數(shù)的性質(zhì)以及計(jì)算方法，然后還介紹了幾種常用的熵壓縮編碼算法。附錄A是一些學(xué)習(xí)本課程需要用到的數(shù)學(xué)知識(shí)。附錄B為上機(jī)作業(yè)。帶星號(hào)部分為根據(jù)學(xué)時(shí)安排的選修內(nèi)容。





圖書(shū)封面






評(píng)論、評(píng)分、閱讀與下載



還沒(méi)讀過(guò)(51)
勉強(qiáng)可看(375)
一般般(640)
內(nèi)容豐富(2654)
強(qiáng)力推薦(217)


 


    信息論基礎(chǔ)教程 PDF格式下載