信息論

內(nèi)容概要

　　 本書系普通高等教育“十一五”國家級(jí)規(guī)劃教材，并于2008年被教育部評(píng)為普通高等教育精品教材。本書系統(tǒng)地論述了香農(nóng)信息論基本理論及某些應(yīng)用問題，基本覆蓋了信息論的各個(gè)方面的內(nèi)容。內(nèi)容包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶、離散和連續(xù)信道的信道容量；香農(nóng)信息論的三個(gè)基本定理：無失真信源編碼定理、限失真信源編碼定理和信道編碼定理；網(wǎng)絡(luò)信息理論及保密系統(tǒng)的信息理論。本書還介紹了無失真數(shù)據(jù)壓縮(即無失真信源編碼)的實(shí)用的編碼算法與方法，以及信道糾錯(cuò)編碼的基本內(nèi)容和分析方法。本書最后還簡(jiǎn)要地介紹了信息論與熱力學(xué)、光學(xué)、統(tǒng)計(jì)學(xué)、生物學(xué)和醫(yī)學(xué)等其他學(xué)科交叉結(jié)合的應(yīng)用內(nèi)容。本書深入淺出、概念清晰、內(nèi)容豐富、系統(tǒng)性和可讀性強(qiáng)，并具實(shí)際應(yīng)用價(jià)值。讀者對(duì)象：高等院校信息工程、通信工程、雷達(dá)、計(jì)算機(jī)、電子學(xué)、信息與計(jì)算科學(xué)等相關(guān)專業(yè)的本科生、研究生

書籍目錄

第1章 緒論  1.1　信息的概念 1.2　信息論研究的對(duì)象、目的和內(nèi)容 1.3　信息論發(fā)展簡(jiǎn)史與信息科學(xué) 第2章　離散信源及其信息測(cè)度  2.1　信源的數(shù)學(xué)模型及分類  2.2　離散信源的信息熵  2.2.1　自信息  2.2.2　信息熵  2.3　信息熵的基本性質(zhì) 2.4　信息熵的唯一性定理 2.5　離散無記憶的擴(kuò)展信源  2.6　離散平穩(wěn)信源  2.6.1　離散平穩(wěn)信源的數(shù)學(xué)定義 2.6.2　二維離散平穩(wěn)信源及其信息熵 2.6.3　離散平穩(wěn)信源的極限熵  2.7　馬爾可夫信源  2.7.1　馬爾可夫信源和m階馬爾可夫信源的定義  2.7.2　馬爾可夫信源和m階馬爾可夫信源的信息熵 2.8　信源剩余度與自然語言的熵  2.9 　意義信息和加權(quán)熵  小結(jié)  習(xí)題 第3章　離散信道及其信道容量 3．1　信道的數(shù)學(xué)模型及分類 3．1．1　信道的分類  3．1．2　離散信道的數(shù)學(xué)模型 3．1．3　單符號(hào)離散信道的數(shù)學(xué)模型  3．2　平均互信息及平均條件互信息  3．2．1　信道疑義度  3．2．2　平均互信息  3．2．3　平均條件互信息 3．3　平均互信息的特性  3．4　信道容量及其一般計(jì)算方法 3．4．1　離散無噪信道的信道容量 3．4．2　對(duì)稱離散信道的信道容量 3．4．3　準(zhǔn)對(duì)稱信道的信道容量  3．4．4　一般離散信道的信道容量 3．5　信道容量的迭代算法  3．5．1　信道容量的迭代算法  3．5．2　信道容量迭代算法的收斂性 3．6　離散無記憶擴(kuò)展信道及其信道容量 3．7　獨(dú)立并聯(lián)信道及其信道容量  3．8　串聯(lián)信道的互信息和數(shù)據(jù)處理定理  3．9　信源與信道的匹配  小結(jié)  習(xí)題 第4章　波形信源和波形信道 4.1　波形信源的統(tǒng)計(jì)特性和離散化 4.2　連續(xù)信源和波形信源的信息測(cè)度 4.2.1　連續(xù)信源的差熵  4.2.2　連續(xù)平穩(wěn)信源和波形信源的差熵 4.2.3　兩種特殊連續(xù)信源的差熵  4.3　連續(xù)信源熵的性質(zhì)及最大差熵定理 4.3.1　差熵的性質(zhì)  4.3.2　具有最大差熵的連續(xù)信源 4.4　連續(xù)信源熵的變換  4.4.1　坐標(biāo)變換后概率密度函數(shù)的變化 4.4.2　坐標(biāo)變換后差熵的變化  4.5　熵功率  4.6　連續(xù)信道和波形信道的分類  4.6.1　按信道輸入和輸出的統(tǒng)計(jì)特性分類 4.6.2　按噪聲的統(tǒng)計(jì)特性分類  4.6.3　按噪聲對(duì)信號(hào)的作用功能分類 4.7　連續(xù)信道和波形信道的信息傳輸率 4.7.1　基本連續(xù)信道的平均互信息  4.7.2　多維連續(xù)信道的平均互信息  4.7.3　波形信道的信息傳輸率  4.7.4　連續(xù)信道平均互信息的特性 4.8　連續(xù)信道和波形信道的信道容量 4.8.1　單符號(hào)高斯加性信道  4.8.2　單符號(hào)非高斯加性信道  4.8.3　多維無記憶高斯加性連續(xù)信道? 4.8.4　多維有記憶高斯加性連續(xù)信道 4.8.5　限帶高斯白噪聲加性波形信道? 4.8.6　有色高斯加性波形信道 4.8.7　香農(nóng)公式的重要實(shí)際指導(dǎo)意義 小結(jié)  習(xí)題 第5章　無失真信源編碼定理 5.1　編碼器  5.2　等長(zhǎng)碼  5.3　漸近等分割性和ε典型序列 5.4　等長(zhǎng)信源編碼定理  5.5　變長(zhǎng)碼  5.5.1　唯一可譯變長(zhǎng)碼與即時(shí)碼  5.5.2　即時(shí)碼的樹圖構(gòu)造法  5.5.3　克拉夫特(Kraft)不等式  5.5.4　唯一可譯變長(zhǎng)碼的判斷法 5.6　變長(zhǎng)信源編碼定理  小結(jié)  習(xí)題 第6章　有噪信道編碼定理 6.1　錯(cuò)誤概率和譯碼規(guī)則 6.2　錯(cuò)誤概率與編碼方法 6.2　聯(lián)合ε典型序列 6.4　有噪信道編碼定理  6.5　聯(lián)合信源信道編碼定理 小結(jié)  習(xí)題 第7章　保真度準(zhǔn)則下的信源編碼 7.1　失真度和平均失真度  7.1.1　失真度  7.1.2　平均失真度 7.2　信息率失真函數(shù)及其性質(zhì) 7.2.1　信息率失真函數(shù)  7.2.2 　信息率失真函數(shù)的性質(zhì) 7.3　二元信源和離散對(duì)稱信源的R(D)函數(shù)  7.3.1　二元對(duì)稱信源的R(D)函數(shù)  7.3.2 離散對(duì)稱信源的R(D)函數(shù) 7.4 信息率失真函數(shù)的參量表述及其計(jì)算 7.5 信息率失真函數(shù)的迭代算法  7.6 連續(xù)信源的信息率失真函數(shù)  7.6.1 連續(xù)信源的信息率失真函數(shù)  7.6.2 高斯信源的信息率失真函數(shù)  7.6.3 連續(xù)信源R(D)函數(shù)的參量表述及其計(jì)算  7.7 保真度準(zhǔn)則下的信源編碼定理 　 7.7.1 失真ε典型序列 　　7.7.2 保真度準(zhǔn)則下信源編碼定理的證明  7.8 聯(lián)合有失真信源信道編碼定理  7.9 限失真信源編碼定理的實(shí)用意義  小結(jié)  習(xí)題 第8章 無失真的信源編碼  8.1 霍夫曼（Huffman）碼  8.1.1 二元霍夫曼碼  8.1.2 r元霍夫曼碼  8.1.3 霍夫曼碼的最佳性  8.2 費(fèi)諾（Fano）碼  8.3 香農(nóng)-費(fèi)諾-埃利斯碼  8.4 游程編碼和MH編碼  8.4.1 游程編碼  8.4.2 MH編碼  8.5 算術(shù)編碼  8.6 字典碼  8.6.1 LZ?77編碼算法  8.6.2 LZ?78編碼算法  8.6.3 LZW編碼算法  8.6.4 LZ碼復(fù)雜度和性能分析  小結(jié)  習(xí)題 第9章 信道的糾錯(cuò)編碼  9.1 差錯(cuò)控制的基本形式  9.2 糾錯(cuò)碼分類及基本概念  9.2.1 糾錯(cuò)碼分類  9.2.2 糾錯(cuò)碼的基本概念及其糾錯(cuò)能力 9.3 線性分組碼  9.3.1 一致校驗(yàn)矩陣和生成矩陣 9.3.2 伴隨式及標(biāo)準(zhǔn)陣列譯碼  9.3.3 漢明碼  9.4 循環(huán)碼 9.4.1 循環(huán)碼結(jié)構(gòu)及其多項(xiàng)式描述  9.4.2 循環(huán)碼的生成多項(xiàng)式和生成矩陣  9.4.3 循環(huán)碼的校驗(yàn)多項(xiàng)式和伴隨式  9.4.4 循環(huán)碼的編、譯碼器 9.5 卷積碼  9.5.1 卷積碼的解析表示  9.5.2 卷積碼的圖解表示  小結(jié)  習(xí)題 第10章 網(wǎng)絡(luò)信息論  10.1 通信網(wǎng)信道的分類  10.2 多個(gè)隨機(jī)變量的聯(lián)合典型序列  10.3 相關(guān)信源編碼  10.4 多址接入信道  10.4.1 離散多址接入信道  10.4.2 多址接入高斯噪聲信道  10.5 相關(guān)信源和多址接入信道  10.5.1 相關(guān)信源和多址接入信道的對(duì)偶性  10.5.2 相關(guān)信源的多址接入信道  10.6 廣播信道  10.7 中繼信道  10.8 具有邊信息的信源編碼  10.9 具有邊信息的數(shù)據(jù)壓縮  小結(jié)  習(xí)題 第11章 保密系統(tǒng)的基本信息理論  11.1 保密學(xué)的基本概念  11.2 保密系統(tǒng)的數(shù)學(xué)模型  11.3 古典密碼體制  11.3.1 單表密碼  11.3.2 移位代換密碼  11.3.3 乘數(shù)密碼  11.3.4 固定周期d的位移置換  11.3.5 多表代換密碼  11.4 完全保密性  11.5 理論保密性  11.6 實(shí)際保密性  小結(jié)  習(xí)題 第12章 信息論與其他學(xué)科的關(guān)系和應(yīng)用  12.1 信息熵與熱力學(xué)熵  12.2 信息論與光學(xué)  12.2.1 光學(xué)信息量  12.2.2 光量子信道的信道容量  12.2.3 最大熵光學(xué)圖像恢復(fù)  12.3 最大熵原理與譜估計(jì)  12.3.1 高斯隨機(jī)過程的熵率  12.3.2 伯格的最大熵定理  12.4 信息論與生命科學(xué) 12.4.1 DNA到蛋白質(zhì)的通信系統(tǒng)  12.4.2 信息系數(shù)與信息分類  12.4.3 醫(yī)學(xué)中的信息分析  小結(jié) 附錄  附錄A 凸函數(shù)和詹森不等式  附錄B 馬爾可夫鏈  B.1 馬爾可夫鏈的定義  B.2 轉(zhuǎn)移概率和轉(zhuǎn)移矩陣  B.3 各態(tài)歷經(jīng)定理  附錄C 熵函數(shù)的函數(shù)表  附錄D 所用符號(hào)及編寫說明 參考書目和文獻(xiàn)

章節(jié)摘錄

版權(quán)頁：插圖：5.信息的廣義概念（1）信息是物質(zhì)世界的三大支柱之一目前，哲學(xué)家和科學(xué)家普遍認(rèn)為，物質(zhì)、能量和信息是物質(zhì)世界的三大支柱，是科學(xué)歷史上三個(gè)最重要的基本概念。世界是物質(zhì)的。沒有物質(zhì)就沒有世界，就沒有一切，也就沒有信息?？梢哉f信息與物質(zhì)同存，信息是物質(zhì)的一種普遍屬性。在物質(zhì)世界中任何事物都處于永恒的運(yùn)動(dòng)和普遍的相互作用之中。只要有運(yùn)動(dòng)和相互作用的事物，就需要有能量，也就會(huì)產(chǎn)生各種各樣事物運(yùn)動(dòng)的狀態(tài)和方式，就產(chǎn)生信息。信息是作為物質(zhì)存在方式和狀態(tài)的自身顯示，同樣也是相互作用的自身顯示?？梢?，信息源于物質(zhì)世界本身，源于物質(zhì)世界的運(yùn)動(dòng)和相互作用之中，所以信息是普遍存在的。信息是物質(zhì)的屬性，但不是物質(zhì)自身，信息具有相對(duì)獨(dú)立性。事物運(yùn)動(dòng)的狀態(tài)和方式一旦體現(xiàn)出來，就可以脫離原來的事物而相對(duì)獨(dú)立地載附于別的事物上，而被提取、變換、傳遞、存儲(chǔ)、加工或處理。因此，信息不等于它的源事物，也不等于它的載體。信息雖不等于物質(zhì)本身，但它也不可能脫離物質(zhì)而獨(dú)立存在，必須以物質(zhì)為載體，以能量為動(dòng)力。這三者是相輔相成，缺一不可的。這也正是信息的絕對(duì)性、普遍性和獨(dú)立性。正是信息的這種相對(duì)獨(dú)立性，使得它可以被傳遞、復(fù)制、存儲(chǔ)和擴(kuò)散。這就是信息的可貴特性——共享性。信息的共享是無限的。只要是無干擾和全息傳遞，共享的信息就是完全等同的，并不因?yàn)樾畔⒈还蚕砗蠖乖加姓邅G失信息。所以，信息傳播、擴(kuò)散越快、越廣，就越加速推動(dòng)人類社會(huì)的發(fā)展和進(jìn)步。可以說，信息的共享性對(duì)人類社會(huì)的發(fā)展有著特別重要的意義。

編輯推薦

《信息論:基礎(chǔ)理論與應(yīng)用(第3版)》：普通高等教育“十一五”國家級(jí)規(guī)劃教材,電子信息科學(xué)與工程類專業(yè)精品教材

圖書封面

圖書標(biāo)簽Tags

無

評(píng)論、評(píng)分、閱讀與下載

---

    信息論 PDF格式下載

---