信息論與編碼

前言

　　隨著科學(xué)技術(shù)，特別是信息技術(shù)的發(fā)展，信息理論在通信領(lǐng)域中發(fā)揮著越來(lái)越重要的作用，顯示出解決通信領(lǐng)域中有關(guān)問(wèn)題的有力工具的本色。同時(shí)，由于信息理論解決問(wèn)題的思路和方法的獨(dú)特、新穎和有效，在當(dāng)今信息時(shí)代，信息理論已滲透到其它相關(guān)的自然科學(xué)，甚至社會(huì)科學(xué)領(lǐng)域，與電子技術(shù)、自動(dòng)控制、計(jì)算機(jī)網(wǎng)絡(luò)以及管理科學(xué)、生物醫(yī)學(xué)工程、遺傳工程、人工智能、心理學(xué)等學(xué)科密切結(jié)合，顯示出它的勃勃生機(jī)和不可估量的發(fā)展前景。信息論是信息科學(xué)中最成熟、最完整、最系統(tǒng)的重要組成部分，它是信息科學(xué)的發(fā)展起源與基石。信息論是信息與通信學(xué)科的基礎(chǔ)理論。　　本書以香農(nóng)（Claude E。Shannon）信息論為基礎(chǔ)，論述近代信息理論的基本概念和主要結(jié)論?！　∽髡哞b于近30年的教學(xué)經(jīng)驗(yàn)，為了便于讀者正確認(rèn)識(shí)通信領(lǐng)域中信息的定義和本質(zhì)，理解信息論解決問(wèn)題的思路和方法，在“引言”中歸納、提煉出香農(nóng)信息論的三大理論支柱。為了便于讀者建立信息流通的完整系統(tǒng)概念，把信息論的基礎(chǔ)理論部分由傳統(tǒng)的“信源一條線”、“信道一條線”的“縱向結(jié)構(gòu)”，改變成由“單符號(hào)離散通信系統(tǒng)”（第一章、第二章）、“多符號(hào)離散通信系統(tǒng)”（第三章）、“單維連續(xù)通信系統(tǒng)”（第四章）、“多維連續(xù)通信系統(tǒng)”（第五章）等四個(gè)“橫向教學(xué)板塊”組成的“橫向結(jié)構(gòu)”，由簡(jiǎn)單到復(fù)雜、由淺人深、循序漸進(jìn)地安排教學(xué)內(nèi)容。信息論是一門具有嚴(yán)密的數(shù)學(xué)演繹體系和高度抽象性、概括性的科學(xué)理論。為了幫助讀者排除學(xué)習(xí)信息論過(guò)程中經(jīng)常遇到的數(shù)學(xué)分析方面的困難，結(jié)合有關(guān)內(nèi)容，系統(tǒng)而簡(jiǎn)明地介紹必要的數(shù)學(xué)基礎(chǔ)知識(shí)，給出導(dǎo)致重要結(jié)論的數(shù)學(xué)推演過(guò)程，提供不同的證明方法和途徑。為了幫助讀者正確理解有關(guān)結(jié)論的物理含意，提供通俗易懂、富有哲理的詮釋?！　”緯谌嫦到y(tǒng)地論述信息論基礎(chǔ)理論的基礎(chǔ)上，嚴(yán)密論證了“無(wú)失真信源編碼定理”、“抗干擾信道編碼定理”、“限失真信源編碼定理”和“信源-信道編碼定理”等信息論中的關(guān)鍵定理和結(jié)論，深入闡明剖析了信息率-失真函數(shù)的定義、數(shù)學(xué)特性及其內(nèi)涵。按照理論聯(lián)系實(shí)際的原則，介紹“霍夫曼（Huffman）碼”、“線性分組碼”、“漢明（Hamming）碼”和“擴(kuò)展?jié)h明碼”等實(shí)際編碼方法。使讀者既能掌握、理解信息論的總的結(jié)論，看到實(shí)現(xiàn)有效而可靠的通信系統(tǒng)的光明前景，又能掌握實(shí)現(xiàn)通信系統(tǒng)的“最優(yōu)化”的某些實(shí)際編碼方法和技巧?！　”緯鴮?duì)如何構(gòu)建“加權(quán)熵”、“效用信息熵”；如何運(yùn)用信息率-失真理論定義“信息價(jià)值”；如何凝練“信息率-失真函數(shù)”的數(shù)學(xué)精髓，構(gòu)建“廣義信息率-失真函數(shù)”，估算通信系統(tǒng)的有關(guān)指標(biāo)界限等問(wèn)題，進(jìn)行了探索性的討論。以“多用戶信道”的容量界限為重點(diǎn)，對(duì)網(wǎng)絡(luò)信息傳輸?shù)挠嘘P(guān)特性，作了初步探討，給讀者提供探究當(dāng)今正在蓬勃興起的互聯(lián)網(wǎng)通信理論的初步基礎(chǔ)知識(shí)。　　本書的一個(gè)鮮明特色，是具有較強(qiáng)的理論性。通篇貫穿了一條主軸，這就是用數(shù)學(xué)模型描述要討論的問(wèn)題，用嚴(yán)密的數(shù)學(xué)理論分析，導(dǎo)致討論問(wèn)題的結(jié)論，用完整而系統(tǒng)的數(shù)學(xué)推演論證定理。

內(nèi)容概要

　　本書系統(tǒng)論述香農(nóng)信息論的基本理論，介紹編碼的基本方法。全書共分12章。內(nèi)容包括：信息的定義、信息論的基本思路；單符號(hào)離散信源與信道、信息熵、互信息、信道容量、數(shù)據(jù)處理定理、加權(quán)熵、效用信息熵；多符號(hào)離散信源與信道、極限熵、獨(dú)立并列信道的信道容量；連續(xù)信源與信道、相對(duì)熵、高斯白噪聲加性信道的信道容量；無(wú)失真信源編碼定理、霍夫曼編碼方法；抗干擾信道編碼定理、線性分組碼、漢明碼與擴(kuò)展?jié)h明碼；限失真信源編碼定理、信息率-失真函數(shù)、數(shù)據(jù)壓縮原理、信息價(jià)值、廣義信息率-失真函數(shù)；信源-信道編碼定理；網(wǎng)絡(luò)信息理論等?！　”緯勺鳛楦叩仍盒?、科研院所相關(guān)專業(yè)的研究生、高年級(jí)本科生的教材或教學(xué)參考書，也可供從事信息理論、信息技術(shù)和信息科學(xué)的教學(xué)、科研和工程技術(shù)人員參考。

書籍目錄

第三版前言再版前言前言引言第一章 單符號(hào)離散信源　第一節(jié) 信源的數(shù)學(xué)模型　第二節(jié) 信源符號(hào)的自信量　第三節(jié) 信源的信息熵　第四節(jié) 信息熵的代數(shù)性質(zhì)　第五節(jié) 信息熵的解析性質(zhì)　第六節(jié) 最大離散熵定理　第七節(jié) 均值受限的最大離散熵　第八節(jié) 熵函數(shù)的唯一性定理　第九節(jié) 加權(quán)熵及其數(shù)學(xué)特性　第十節(jié) 加權(quán)熵的唯一性定理　第十一節(jié) 效用信息熵　習(xí)題第二章 單符號(hào)離散信道　第一節(jié) 信道的數(shù)學(xué)模型　第二節(jié) 信道的交互信息量　第三節(jié) 條件交互信息量　第四節(jié) 平均交互信息量　第五節(jié) 平均交互信息量的非負(fù)性　第六節(jié) 平均交互信息量的極值性　第七節(jié) 平均交互信息量的不增性　第八節(jié) 平均交互信息量的上凸性　第九節(jié) 信道容量及其一般算法　第十節(jié) 信道容量的等量平衡定理　第十一節(jié) 幾種無(wú)噪信道的信道容量　第十二節(jié) 幾種對(duì)稱信道的信道容量　第十三節(jié) 可逆矩陣信道的信道容量　第十四節(jié) 信道容量的迭代計(jì)算　習(xí)題第三章 多符號(hào)離散信源與信道　第一節(jié) 離散平穩(wěn)信源的數(shù)學(xué)模型　第二節(jié) 離散平穩(wěn)無(wú)記憶信源的信息熵　第三節(jié) 離散平穩(wěn)有記憶信源的信息熵　第四節(jié) 離散平穩(wěn)有記憶信源的極限熵　第五節(jié) 馬爾柯夫（Markov）信源的極限熵　第六節(jié) 信源的剩余度與結(jié)構(gòu)信息　第七節(jié) 擴(kuò)展信道及其數(shù)學(xué)模型　第八節(jié) 無(wú)記憶擴(kuò)展信道　第九節(jié) 擴(kuò)展信道的平均交互信息量　第十節(jié) 無(wú)記憶擴(kuò)展信道的信道容量　第十一節(jié) 獨(dú)立并列信道的信道容量　習(xí)題第四章 單維連續(xù)信源與信道　第一節(jié) 連續(xù)信源的相對(duì)熵　第二節(jié) 連續(xù)信道和平均交互信息量　第三節(jié) 幾種連續(xù)信源的相對(duì)熵　第四節(jié) 相對(duì)熵的數(shù)學(xué)特性　第五節(jié) 最大相對(duì)熵定理　第六節(jié) 熵功率與信息變差　第七節(jié) 相對(duì)熵的變換　第八節(jié) 平均交互信息量的不變性　第九節(jié) 連續(xù)信道的數(shù)據(jù)處理定理　第十節(jié) 連續(xù)信源的信息測(cè)量　第十一節(jié) 連續(xù)信道的信道容量　第十二節(jié) 高斯加性信道的信道容量　習(xí)題第五章 多維連續(xù)信源與信道　第一節(jié) 隨機(jī)過(guò)程的離散化　第二節(jié) 多維連續(xù)信源的相對(duì)熵　第三節(jié) 最大多維相對(duì)熵定理　第四節(jié) 多維相對(duì)熵的變換　第五節(jié) 無(wú)記憶信道的平均交互信息量　第六節(jié) 高斯白噪聲加性信道的容量　第七節(jié) 獨(dú)立并列高斯加性信道容量的最大化　習(xí)題第六章 無(wú)失真信源編碼　第一節(jié) 單義可譯碼　第二節(jié) 非延長(zhǎng)碼及其構(gòu)成　第三節(jié) 單義可譯定理　第四節(jié) 平均碼長(zhǎng)與碼率　第五節(jié) 信源擴(kuò)展與數(shù)據(jù)壓縮　第六節(jié) 無(wú)失真信源編碼定理　第七節(jié) 霍夫曼（Huffman）碼　習(xí)題第七章 抗干擾信道編碼　第一節(jié) 譯碼規(guī)則和錯(cuò)誤概率　第二節(jié) 最小錯(cuò)誤概率譯碼準(zhǔn)則　第三節(jié) 簡(jiǎn)單重復(fù)編碼　第四節(jié) 信道編碼的一般概念　第五節(jié) 漢明（Hamming）距離與最小誤碼率　第六節(jié) 抗干擾信道編碼定理　習(xí)題第八章 線性分組碼　第一節(jié) 線性分組碼的一般概念　第二節(jié) 線性分組碼的代數(shù)結(jié)構(gòu)　第三節(jié) 線性分組碼的構(gòu)成　第四節(jié) 一致校驗(yàn)矩陣　第五節(jié) 錯(cuò)誤圖樣與伴隨式　第六節(jié) 標(biāo)準(zhǔn)陣列與譯碼表　第七節(jié) 檢糾能力與一致校驗(yàn)矩陣的關(guān)系　第八節(jié) 完備碼　第九節(jié) 漢明（Hamming）碼與擴(kuò)展?jié)h明碼　習(xí)題第九章 信息率-失真函數(shù)　第一節(jié) 平均交互信息量的下凸性　第二節(jié) 平均失真度　第三節(jié) 信息率-失真函數(shù)的定義　第四節(jié) R（D）函數(shù)的定義域　第五節(jié) R（D）函數(shù)的數(shù)學(xué)特性　第六節(jié) 二元離散信源的R（D）函數(shù)　第七節(jié) 等概離散信源的R（D）函數(shù)　第八節(jié) 離散信源R（D）函數(shù)的參量表述　第九節(jié) 二元離散信源R（D）函數(shù)的參量計(jì)算　第十節(jié) 高斯連續(xù)信源的R（D）函數(shù)　第十一節(jié) 連續(xù)信源R（D）函數(shù)的參量表述　第十二節(jié) 高斯連續(xù)信源R（D）函數(shù)的參量計(jì)算　第十三節(jié) R（D）函數(shù)的迭代計(jì)算　第十四節(jié) R（D）函數(shù)與信息價(jià)值　第十五節(jié) 廣義信息率-失真函數(shù)　習(xí)題第十章 限失真信源編碼　第一節(jié) 離散無(wú)記憶擴(kuò)展信源的R（D）函數(shù)　第二節(jié) 數(shù)據(jù)壓縮的一般概念　第三節(jié) 限失真信源編碼定理　習(xí)題第十一章 信源-信道編碼　第一節(jié) 信息傳輸速率的上界　第二節(jié) 信源-信道編碼定理　習(xí)題第十二章 網(wǎng)絡(luò)信息理論　第一節(jié) 雙輸入單輸出信道的信道容量　第二節(jié) 離散二址接入信道的容量計(jì)算　第三節(jié) 高斯加性二址接人信道的容量計(jì)算　第四節(jié) 單輸入雙輸出信道的信道容量　第五節(jié) 高斯鏈?zhǔn)浇永m(xù)信道的容量計(jì)算習(xí)題附錄《供熵函數(shù)計(jì)算用的幾種函數(shù)表》參考文獻(xiàn)

章節(jié)摘錄

　　這就是說(shuō)，一切有通信意義的消息的發(fā)生都是隨機(jī)的，是事先無(wú)法預(yù)料的。消息傳傳遞過(guò)程中受到的噪聲干擾也是隨機(jī)的，通信系統(tǒng)的工程設(shè)計(jì)者也是無(wú)法事先預(yù)料的。例如，面對(duì)公眾的公用電話系統(tǒng)，不是針對(duì)某一特定對(duì)象設(shè)計(jì)的。什么人，什么時(shí)候來(lái)使用公用電話，以及通話人聲音的最高頻率、頻帶寬度、峰值功率、平均功率、持續(xù)時(shí)間等技術(shù)參數(shù)都是隨機(jī)的，工程設(shè)計(jì)者都是無(wú)法事先預(yù)料的。顯然，根據(jù)通信系統(tǒng)工程的這一特點(diǎn)，在設(shè)計(jì)工程時(shí)，不可能把某一特定的對(duì)象的技術(shù)參數(shù)作為設(shè)計(jì)的依據(jù)，而是要用概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)等數(shù)學(xué)工具，從大量的不可預(yù)料的隨機(jī)消息（包括噪聲）中，尋求其統(tǒng)計(jì)規(guī)律，作為通信工程設(shè)計(jì)的依據(jù)，用非決定論的觀點(diǎn)和方法，來(lái)觀察、描述信息。這就是香農(nóng)的“非決定論”觀點(diǎn)?！　∵@種“非決定論”觀點(diǎn)，是對(duì)通信活動(dòng)的總的認(rèn)識(shí)觀。它從原則上回答了應(yīng)采用什么類型的數(shù)學(xué)工具來(lái)解決信息度量問(wèn)題?！　。ㄈ┎淮_定性　　通過(guò)對(duì)通信活動(dòng)的機(jī)制和作用的剖析研究，香農(nóng)一針見(jiàn)血地指出“人們只在兩種情況下有通信的需要。其一，是自己有某種形式的消息要告知對(duì)方，而估計(jì)對(duì)方‘不知道’這個(gè)消息；其二，是自己有某種‘疑問(wèn)’要詢問(wèn)對(duì)方，而估計(jì)對(duì)方能作出一定的解答”。這里的所謂“不知道”、“疑問(wèn)”，就是通信前對(duì)某事件可能發(fā)生的若干種結(jié)果不能作出明確的判斷，存在某種知識(shí)上的“不確定性”。通信后，通過(guò)消息的傳遞，由原先的“不知道”到“知道”，或由“知之不多”到“知之甚多”；原先的“疑問(wèn)”得到了解答，或部分解答，由原先的“疑問(wèn)”到“明白”，或部分“明白”。這就是說(shuō)，通信后，消除或部分消除了通信前存在的“不確定性”。所以，通信的作用就是通過(guò)消息的傳遞，使接收者從收到的消息中獲取了一樣“東西”，因而消除或部分消除了通信前存在的“不確定性”。這種“東西”，就是“信息”。這樣，我們就有理由給“信息”下一個(gè)明確的定義：“信息就是用來(lái)消除不確定性的東西”，進(jìn)而，可合理地推斷：通信后接收者從收到的消息中獲取的“信息”，在數(shù)量上等于通信前、后“不確定性”的消除量。這就是香農(nóng)從“不確定性”觀點(diǎn)出發(fā)，給“信息”下的明確的定義。　　我們知道，“可能性”的大小在數(shù)學(xué)上可以用概率的大小來(lái)表示：概率大即表示出現(xiàn)的“可能性”大；概率小即表示出現(xiàn)的“可能性”小。我們同樣知道，“不確定性”與“可能性”是有聯(lián)系的：“可能性”大就意味著“不確定性”??；“可能性”小就意味著“不確定性”大。這樣，“不確定性”就可與消息發(fā)生的概率聯(lián)系起來(lái)。例如，“中國(guó)女子乒乓球隊(duì)奪取2008年奧運(yùn)會(huì)冠軍”這條消息，根據(jù)中國(guó)女子乒乓球隊(duì)歷來(lái)的表現(xiàn)，奪取奧運(yùn)會(huì)冠軍的概率很大，即“可能性”很大，也就意味著“不確定性”很小。這個(gè)消息一旦發(fā)生，消除的“不確定性”也很小，收信者從這條消息中獲取的信息量也很小。相反，“中國(guó)男子足球隊(duì)奪取世界杯賽冠軍”這條消息，根據(jù)中國(guó)男子足球隊(duì)歷來(lái)的表現(xiàn)，奪取世界杯賽冠軍的概率很小，即“可能性”很小，也就意味著“不確定性”很大。若有朝一日這個(gè)消息真的發(fā)生了，消除的“不確定性”很大，收信者從這條消息中獲取的信息量也很大，甚至驚喜萬(wàn)分、歡呼跳躍。由此可見(jiàn)，“不確定性”與消息發(fā)生的概率有內(nèi)在聯(lián)系，它應(yīng)該是消息發(fā)生概率的某一函數(shù)。　　根據(jù)香農(nóng)關(guān)于信息的定義，通信后收信者從消息中獲取的“信息”，從數(shù)量上等于通信前、后“不確定性”的消除。既然“不確定性”一定是消息發(fā)生概率的某一函數(shù)，那么，“不確定性”的“消除量”也一定是消息發(fā)生概率的某一函數(shù)。當(dāng)然，通信后獲取的信息量也應(yīng)該是消息發(fā)生概率的某一函數(shù)。

編輯推薦

　　為研究生教學(xué)用書，教育部研究生工作辦公室推薦。

圖書封面

圖書標(biāo)簽Tags

無(wú)

評(píng)論、評(píng)分、閱讀與下載

---

    信息論與編碼 PDF格式下載

---