信息理論與編碼

前言

　　信息是事物運(yùn)動(dòng)的狀態(tài)和方式，是關(guān)于事物運(yùn)動(dòng)的千差萬(wàn)別的狀態(tài)和方式的知識(shí)。人類社會(huì)的生存、發(fā)展都離不開(kāi)信息的獲取、傳遞、處理、控制和利用?！　⌒畔⒄撌钦麄€(gè)信息科學(xué)發(fā)展的起源和基石。21世紀(jì)是高度信息化的時(shí)代，信息論不僅在通信領(lǐng)域中發(fā)揮越來(lái)越重要的作用，也是解決通信領(lǐng)域中相關(guān)問(wèn)題的有力工具；而且由于信息理論蘊(yùn)涵著獨(dú)特的、有效的、新穎的解決問(wèn)題的思路和方法，這一學(xué)科已滲透到其他相關(guān)的自然科學(xué)、社會(huì)科學(xué)領(lǐng)域，與計(jì)算機(jī)技術(shù)、電子技術(shù)、控制技術(shù)、網(wǎng)絡(luò)技術(shù)、人工智能、生物工程、醫(yī)學(xué)工程、管理科學(xué)等學(xué)科密切結(jié)合，顯示了它的勃勃生機(jī)。因此，在現(xiàn)代科學(xué)技術(shù)高速發(fā)展的過(guò)程中，學(xué)習(xí)和掌握信息科學(xué)顯得尤為重要?！　⌒畔⒄撌且婚T(mén)利用概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)等數(shù)學(xué)方法來(lái)研究信息的存儲(chǔ)、度量、編碼、傳輸、處理中一般規(guī)律的重要學(xué)科，是數(shù)學(xué)知識(shí)與通信技術(shù)相結(jié)合的邊緣學(xué)科。自從香農(nóng)1948年發(fā)表奠定信息論基礎(chǔ)的“通信的數(shù)學(xué)理論”一文以來(lái)，信息科學(xué)有了很大的發(fā)展并已經(jīng)延伸到許多領(lǐng)域中。當(dāng)今，它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，從而獲取最優(yōu)信息系統(tǒng)。　　本書(shū)系統(tǒng)地介紹香農(nóng)信息論的基本內(nèi)容及其應(yīng)用。全書(shū)注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例給出詳細(xì)的數(shù)學(xué)推演過(guò)程和證明，力求概念清晰、結(jié)構(gòu)嚴(yán)密、內(nèi)容由淺入深、章節(jié)循序漸進(jìn)?！　∪珪?shū)共8章。其中前3章是全書(shū)的理論基礎(chǔ)，主要介紹信息論的基本理論知識(shí)。第1章闡述了信息的概念、信息論的研究?jī)?nèi)容以及應(yīng)用范圍等，期望為讀者展示一個(gè)信息論的輪廓；第2章詳細(xì)地討論了信息的度量方法，側(cè)重于信息的數(shù)學(xué)建模；第3章討論信道，描述和分析了各種不同類型信道的模型和特性；第4章討論信源無(wú)失真編碼，目的在于提高信源的信息含量效率；第5章討論信道編碼，借此可解決傳送的可靠性問(wèn)題；第6章介紹信源有失真編碼方法，對(duì)連續(xù)信源只能進(jìn)行有失真編碼；第7章介紹網(wǎng)絡(luò)信息論的一些基本理論和新成果，論述多用戶通信系統(tǒng)的信道容量、信道編碼定理、實(shí)現(xiàn)編碼定理的碼的結(jié)構(gòu)問(wèn)題等理論、技術(shù)。第8章簡(jiǎn)要地探討了信息安全、密碼學(xué)，闡述用密碼技術(shù)如何保證電子信息的有效性、保密性、完整性。

內(nèi)容概要

本書(shū)系統(tǒng)地介紹香農(nóng)信息論的基本內(nèi)容及其應(yīng)用全書(shū)共8章前3章是全書(shū)的理論基礎(chǔ)，主要介紹信息論的基本理論知識(shí)；第4章討論信源無(wú)失真編碼，目的在于提高信源的信息含量效率；第5章討論信道編碼，借此可解決傳送的可靠性問(wèn)題；第6章介紹信源有失真編碼方法；第7章介紹網(wǎng)絡(luò)信息論的一些基本理論和新成果，論述多用戶通信系統(tǒng)的信道容量、信道編碼定理、實(shí)現(xiàn)編碼定理的碼的結(jié)構(gòu)問(wèn)題等理論、技術(shù)；第8章簡(jiǎn)要闡述用密碼技術(shù)如何保證電子信息的有效性、保密性、完整性。　　本書(shū)可作為高等院校通信、信息類專業(yè)和相關(guān)專業(yè)本科生教材或教學(xué)參考書(shū)，也可作為相關(guān)領(lǐng)域科研人員、工程技術(shù)人員的參考書(shū)。

書(shū)籍目錄

第1章　緒論　　1.1　信息的概念　　　1.1.1　信息概念的復(fù)雜性　　　1.1.2　信息的定義　　1.2　信息論的主要研究?jī)?nèi)容　　1.3　信息論的發(fā)展歷程　　習(xí)題　第2章　信息的度量　　2.1　信源模型　　2.2　(概率)信息的描述　　2.3　不確定性與信息　　　2.3.1　自信息量　　　2.3.2　聯(lián)合自信息量　　　2.3.3　條件自信息量　　　2.3.4　自信息量的性質(zhì)和相互關(guān)系　　　2.3.5　互信息量及其性質(zhì)　　2.4　離散隨機(jī)變量的(統(tǒng)計(jì))平均不確定性——離散熵　　　2.4.1　離散熵　　　2.4.2　離散熵的性質(zhì)　　2.5　聯(lián)合熵和條件熵　　　2.5.1　聯(lián)合熵　　　2.5.2　條件熵　　　2.5.3　各類熵之間的關(guān)系　　2.6　平均互信息量及其性質(zhì)　　2.7　離散無(wú)記憶信源的擴(kuò)展　　2.8　離散平穩(wěn)信源的熵　　2.9　馬爾可夫信源的信息熵　　　2.9.1　馬爾可夫鏈　　　2.9.2　馬爾可夫信源　　　2.9.3　馬爾可夫信源的信息熵　　2.10　離散信源的信息(速)率和信息含量效率　　2.11　連續(xù)隨機(jī)變量下的熵和平均互信息量　　　2.11.1　連續(xù)隨機(jī)變量的熵　　　2.11.2　連續(xù)隨機(jī)變量下的聯(lián)合熵、條件　熵以及平均互信息量　　　2.11.3　微分熵的極大化問(wèn)題　　　2.11.4　連續(xù)信源的熵功率　　本章基本概念　　習(xí)題　第3章　信道模型和信道容量　　3.1　信道模型與信道分類　3.2　離散無(wú)記憶信道的數(shù)學(xué)模型　　3.3　概率的計(jì)算問(wèn)題　　3.4　信道的疑義度、散布度和平均互信息　　　3.4.1　信道的疑義度　　　3.4.2　信道的散布度　　　3.4.3　信道的平均互信息　　3.5　信道容量C　　　3.5.1　信道容量的定義　　　3.5.2　離散無(wú)噪信道的信道容量　　　3.5.3　離散對(duì)稱信道　　　3.5.4　一般DMC達(dá)到信道容量的充要條件　　　3.5.5　信道容量的迭代算法　　3.6　擴(kuò)展信道及其信道容量　　　3.6.1　擴(kuò)展信道的數(shù)學(xué)模型　　　3.6.2　擴(kuò)展信道的平均互信息量和信道容量　　3.7　信道的組合　　　3.7.1　串聯(lián)信道　　　3.7.2　獨(dú)立并聯(lián)信道　　3.8　信源與信道的匹配　　3.9　連續(xù)信道及其信道容量　　　3.9.1　連續(xù)信道的數(shù)學(xué)模型　　　3.9.2　加性高斯噪聲信道的信道容量　　　3.9.3　一般加性噪聲信道的信道容量的界　3.10　波形信道及其信道容量　　本章基本概念　　習(xí)題　第4章　離散無(wú)記憶信源無(wú)失真編碼　　4.1　信源編碼概論　　4.2　碼的唯一可譯性　　　4.2.1　常見(jiàn)碼及其唯一可譯性　　4.2.2　碼樹(shù)和Kraft不等式　　4.3　定長(zhǎng)編碼　　　4.3.1　離散無(wú)記憶信源的漸近均分性質(zhì)　　　4.3.2　定長(zhǎng)編碼定理　　4.4　變長(zhǎng)編碼定理　　4.5　變長(zhǎng)編碼方法　　4.5.1　霍夫曼編碼　　　4.5.2　費(fèi)諾編碼　　4.5.3　香農(nóng)編碼　　4.6　幾種實(shí)用的無(wú)失真信源編碼　　　4.6.1　游程編碼　　　4.6.2　算術(shù)編碼　　　4.6.3　基于字典的編碼　　本章基本概念　　習(xí)題　第5章　有噪信道編碼　　5.1　譯碼規(guī)則與錯(cuò)誤概率　　5.2　兩種典型的譯碼規(guī)則　　5.3　平均差錯(cuò)率與信道編碼　　　5.3.1　“簡(jiǎn)單重復(fù)”編碼　　　5.3.2　對(duì)符號(hào)串編碼　　5.4　漢明距離與最小距離譯碼規(guī)則　　5.5　有噪信道編碼定理　　　5.5.1　聯(lián)合典型序列　　　5.5.2　有噪信道編碼定理　　5.6　Fano不等式和有噪信道編碼逆定理　　5.7　線性分組碼　　　5.7.1　線性分組碼的生成矩陣和校驗(yàn)矩陣　　　5.7.2　漢明距離和碼的糾錯(cuò)、檢錯(cuò)能力　　　5.7.3　線性碼的伴隨式與伴隨式譯碼　　本章基本概念　　習(xí)題　第6章　限失真信源編碼　　6.1　失真測(cè)度　　6.2　信息率失真函數(shù)及其性質(zhì)　　　6.2.1　信息率失真函數(shù)的定義　　　6.2.2　信息率失真函數(shù)的性質(zhì)　　6.3　限失真信源編碼定理　　6.4　信息率失真函數(shù)的計(jì)算　　　6.4.1　離散信源信息率失真函數(shù)的參量表示計(jì)算方法　　　6.4.2　離散信源信息率失真函數(shù)的迭代計(jì)算方法　　本章基本概念　　習(xí)題　第7章　網(wǎng)絡(luò)信息論基礎(chǔ)　　7.1　概論　　7.2　網(wǎng)絡(luò)信道的分類　　7.3　網(wǎng)絡(luò)信源編碼模型　　7.4　多隨機(jī)變量聯(lián)合典型序列　　7.5　相關(guān)信源編碼定理　7.6　多址接入信道　　7.7　高斯多址接入信道　7.8　廣播信道　　7.9　中繼信道　　7.10　具有邊信息的信源編碼定理　　本章基本概念　　習(xí)題　第8章　信息安全與密碼學(xué)基礎(chǔ)　　8.1　信息安全概述　　8.2　網(wǎng)絡(luò)模型與安全服務(wù)功能　　　8.2.1　開(kāi)放系統(tǒng)互連(OSI)參考模型　　　8.2.2　安全分層原則　　　8.2.3　安全服務(wù)功能　　8.2.4　網(wǎng)絡(luò)安全對(duì)策　　8.3　密碼學(xué)基礎(chǔ)知識(shí)　　　8.3.1　基本術(shù)語(yǔ)　　　8.3.2　代替密碼　　8.4　密碼算法的數(shù)學(xué)背景　　　8.4.1　信息論　　　8.4.2　復(fù)雜性理論　　　8.4.3　數(shù)論基礎(chǔ)　　8.5　數(shù)據(jù)加密標(biāo)準(zhǔn)　　　8.5.1　數(shù)據(jù)加密標(biāo)準(zhǔn)的開(kāi)發(fā)　　　8.5.2　DES算法概要　　　8.5.3　初始置換　　　8.5.4　密碼運(yùn)算函數(shù)f(R,K)　　　8.5.5　密鑰置換　　　8.5.6　擴(kuò)展置換　　　8.5.7　S盒替代　　　8.5.8　P盒置換　　　8.5.9　逆初始置換　　　8.5.10　DES的安全性　　8.6　公開(kāi)密鑰算法　　　8.6.1　公開(kāi)密鑰密碼體制　　　8.6.2　背包公鑰密碼　　　8.6.3　RSA公鑰加密　　　8.6.4　數(shù)字簽名　　本章基本概念　　習(xí)題　參考文獻(xiàn)　

章節(jié)摘錄

　　實(shí)踐是科學(xué)的源泉，信息論作為一門(mén)科學(xué)，其形成、產(chǎn)生和發(fā)展也不例外。生產(chǎn)實(shí)踐是人類物質(zhì)和精神文明發(fā)展的基礎(chǔ)，而物質(zhì)與文明的進(jìn)步又依賴于人類獲取、傳遞、處理、加工和利用信息的能力。人類在生產(chǎn)過(guò)程中建立了人與人之間的關(guān)系，而要維護(hù)這種關(guān)系就必須要有信息，要進(jìn)行通信。通信是人與人之間交流信息的手段。　　信息論作為真正意義上的一門(mén)科學(xué)，是從19世紀(jì)中葉開(kāi)始的。19世紀(jì)中葉到20世紀(jì)40年代可以看做是信息論產(chǎn)生前的準(zhǔn)備階段。公認(rèn)1948年香農(nóng)發(fā)表的著名論文《通信的數(shù)學(xué)原理》標(biāo)志著現(xiàn)代信息論的誕生，解決了通信傳輸中的一系列問(wèn)題?，F(xiàn)在，人們對(duì)信息論進(jìn)行了更深入和廣泛的研究，從原來(lái)的語(yǔ)法信息深入到語(yǔ)義信息和語(yǔ)用信息，即所謂廣義信息論?！　?7世紀(jì)到19世紀(jì)，由于牛頓力學(xué)的巨大影響，機(jī)械唯物論在科學(xué)領(lǐng)域中占有統(tǒng)治地位，機(jī)械唯物論者否認(rèn)客觀世界存在著偶然因素。但是正當(dāng)絕大多數(shù)科學(xué)家都用牛頓力學(xué)的方式思考時(shí)，美國(guó)物理學(xué)家吉布斯（Gibbs·Josiah Willard）和奧地利物理學(xué)家波爾茲曼（Boltzmann·Ludwig）首先把統(tǒng)計(jì)學(xué)引入物理領(lǐng)域，使物理學(xué)對(duì)客觀世界中存在的不確定性、和偶然性不得不加以考慮。把研究偶然性作為一種科學(xué)方法引入物理學(xué)，這是吉布斯的一大功績(jī)，也為信息論的誕生作出了貢獻(xiàn)。這種探究方法為信息理論的創(chuàng)立提供了方法論的前提。波爾茲曼指出熵是關(guān)于一個(gè)物理系統(tǒng)分子運(yùn)動(dòng)狀態(tài)的物理量，表示分子運(yùn)動(dòng)的混亂程度，并且把熵和信息聯(lián)系起來(lái)，提出“熵是一個(gè)系統(tǒng)失去了的‘信息’的度量”。將偶然性、熵函數(shù)引入物理學(xué)為信息論的產(chǎn)生提供了理論前提。

編輯推薦

　　《信息理論與編碼（第2版）》系統(tǒng)地論述了信息理論和編碼的基本理論、基本技術(shù)和基本方法，內(nèi)容豐富，結(jié)構(gòu)合理，論述準(zhǔn)確.語(yǔ)言流暢，邏輯性強(qiáng)。通俗易懂?！缎畔⒗碚撆c編碼（第2版）》的論述力求理論與實(shí)際相結(jié)合，理論推導(dǎo)力求概念清晰、簡(jiǎn)明扼要。適合理工科學(xué)生學(xué)習(xí)。在每章的最后有本章主要概念，對(duì)本章主要概念、主要公式進(jìn)行總結(jié)，便于學(xué)生復(fù)習(xí)。每章之后附有習(xí)題，以幫助讀者掌握相關(guān)知識(shí)點(diǎn)內(nèi)容，另配有習(xí)題解答供讀者參考。《信息理論與編碼（第2版）》可作為高等院校通信類、電子信息類、電子工程類等相關(guān)專業(yè)本科生的專業(yè)教材或研究生的教學(xué)參考書(shū)，也可供從事通信、電子信息、電子工程等方面的工程技術(shù)人員參考。

圖書(shū)封面

評(píng)論、評(píng)分、閱讀與下載

---

    信息理論與編碼 PDF格式下載

---