信息論基礎(chǔ)

前言

　　信息論是信息科學(xué)的主要理論基礎(chǔ)之一，是一門具有高度概括性、綜合性和應(yīng)用廣泛的學(xué)科。它利用數(shù)理統(tǒng)計(jì)方法研究信息的計(jì)量、發(fā)送、傳遞、交換、接收和存儲(chǔ)中的一般規(guī)律和本質(zhì)屬性。隨著以計(jì)算機(jī)技術(shù)、通信技術(shù)、網(wǎng)絡(luò)技術(shù)為代表的現(xiàn)代信息技術(shù)的高速發(fā)展，信息技術(shù)成為當(dāng)今社會(huì)滲透性最強(qiáng)、覆蓋范圍最寬、應(yīng)用范圍最廣的高新技術(shù)領(lǐng)域之一。信息論的一些基本理論在通信、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)字音像、信息處理等工程實(shí)踐中得到廣泛應(yīng)用，并指導(dǎo)信息系統(tǒng)的最優(yōu)化設(shè)計(jì)，包括在如何提高信息系統(tǒng)的可靠性、有效性、保密性等方面提供理論基礎(chǔ)。隨著信息革命和信息科學(xué)的發(fā)展，信息技術(shù)的研究和使用，目前信息論研究范疇遠(yuǎn)遠(yuǎn)超出了通信及相近學(xué)科，已應(yīng)用到生物學(xué)、生理學(xué)、人類學(xué)、物理學(xué)、化學(xué)、電子學(xué)、經(jīng)濟(jì)學(xué)和管理科學(xué)等多個(gè)學(xué)科?！　≡谶@種形勢(shì)下，信息論作為一門專業(yè)基礎(chǔ)課程列入了許多高校的教學(xué)計(jì)劃。同時(shí)，不同的高校和不同的專業(yè)，結(jié)合各自培養(yǎng)方案的特點(diǎn)，對(duì)信息論教學(xué)內(nèi)容有不同的取舍和偏重。本書面向通信工程、電子信息工程、信息工程和電子信息科學(xué)與技術(shù)等專業(yè)教學(xué)需要，著重講授以經(jīng)典信息論內(nèi)容為主的信息論基礎(chǔ)，特別強(qiáng)調(diào)概念闡述清楚、理論體系相對(duì)完整，圍繞信息傳輸系統(tǒng)這一工程應(yīng)用背景建立信息論的數(shù)學(xué)分析方法。讀者在學(xué)習(xí)中應(yīng)結(jié)合信息傳輸系統(tǒng)的數(shù)學(xué)模型理解信息論中基本理論方法，培養(yǎng)抽象分析能力和系統(tǒng)工程概念。　　本書參考學(xué)時(shí)為32～48學(xué)時(shí)，既可作為高等學(xué)校通信工程、電子信息工程和其他相近專業(yè)本科學(xué)生的教材，也可以作為信息、通信、電子工程相關(guān)專業(yè)科技人員的參考書。

內(nèi)容概要

　　《信息論基礎(chǔ)》重點(diǎn)介紹由香農(nóng)理論發(fā)展而來(lái)的信息論的基本理論以及編碼理論，聯(lián)系實(shí)際通信系統(tǒng)，用較多的例題和圖示展示基本概念的運(yùn)用方法，盡量減少繁雜的公式、定理證明；敘述上力求概念清楚、重點(diǎn)突出、深入淺出、通俗易懂；內(nèi)容上力求科學(xué)性、先進(jìn)性、系統(tǒng)性與實(shí)用性相統(tǒng)一。全書共分8章，內(nèi)容包括緒論、離散信源及其信息度量、離散信道及其信道容量、無(wú)失真信源編碼、波形信源和波形信道、限失真信源編碼、有噪信道編碼和網(wǎng)絡(luò)信息論初步?！　　缎畔⒄摶A(chǔ)》既可作為高等學(xué)校通信工程、電子信息工程和其他相近專業(yè)本科學(xué)生教材，也可以作為信息、通信、電子工程相關(guān)專業(yè)科技人員的參考書。

書籍目錄

第1章 緒論1．1 信息的概念1．1．1 信息1．1．2 香農(nóng)“信息”的定義1．1．3 “信息”的度量1．2 信息論的形成和發(fā)展1．3 信息論的研究范疇1．3．1 通信系統(tǒng)模型1．3．2 信息論的研究?jī)?nèi)容第2章 離散信源及其信息度量2．1 信源的分類及描述2．2 信源的數(shù)學(xué)模型2．2．1 單符號(hào)離散信源2．2．2 簡(jiǎn)單的連續(xù)信源2．2．3 多符號(hào)離散信源2．2．4 多維連續(xù)平穩(wěn)信源和波形信源2．3 信息的度量和信源熵2．3．1 自信息、聯(lián)合自信息與條件自信息2．3．2 互信息和條件互信息2．3．3 信息熵2．4 信源熵的基本性質(zhì)和定理2．5 離散無(wú)記憶擴(kuò)展信源2．6 離散平穩(wěn)信源2．6．1 離散平穩(wěn)信源的數(shù)學(xué)模型2．6．2 離散平穩(wěn)信源的信息熵和極限熵2．7 馬爾可夫信源2．7．1 馬爾可夫信源的定義2．7．2 馬爾可夫信源的信息熵2．8 信源的相關(guān)性和剩余度習(xí)題第3章 離散信道及其信道容量3．1 信道的分類及其描述3．2 單符號(hào)離散信道的數(shù)學(xué)模型3．3 平均互信息及其特性3．3．1 平均互信息的定義3．3．2 損失熵和噪聲熵3．3．3 平均互信息的特性3．4 信道容量及其計(jì)算方法3．4．1 信道容量的定義3．4．2 無(wú)噪信道的信道容量3．4．3 對(duì)稱離散信道的信道容量3．4．4 準(zhǔn)對(duì)稱離散信道的信道容量3．4．5 一般離散信道的信道容量3．5 多符號(hào)離散信道的數(shù)學(xué)模型3．6 離散無(wú)記憶擴(kuò)展信道的信道容量3．7 組合信道及其信道容量3．7．1 獨(dú)立并聯(lián)信道及其信道容量3．7．2 串聯(lián)信道及其信道容量3．8 信源與信道的匹配習(xí)題第4章 無(wú)失真信源編碼4．1 信源編碼器4．2 無(wú)失真離散信源編碼定理4．2．1 無(wú)失真定長(zhǎng)信源編碼定理4．2．2 無(wú)失真變長(zhǎng)信源編碼定理4．3 霍夫曼碼和其他編碼方法4．3．1 唯一可譯碼和即時(shí)碼4．3．2 香農(nóng)碼4．3．3 霍夫曼碼4．3．4 費(fèi)諾碼4．4 算術(shù)碼4．4．1 香農(nóng)－費(fèi)諾－埃利斯碼4．4．2 算術(shù)碼習(xí)題第5章 波形信源和波形信道5．1 波形信源的統(tǒng)計(jì)特性和處理方法5．1．1 波形信源的統(tǒng)計(jì)特性5．1．2 隨機(jī)波形信源的處理方法5．2 連續(xù)信源的信息度量5．2．1 連續(xù)信源的熵及其性質(zhì)5．2．2 連續(xù)信源的最大熵5．2．3 熵功率5．3 波形信源的信息度量5．4 波形信道的分類和處理方法5．4．1 波形信道的分類5．4．2 波形信道的處理方法5．5 連續(xù)信道的信道容量5．5．1 連續(xù)信道的平均互信息5．5．2 連續(xù)信道的信道容量5．6 波形信道的信道容量5．6．1 波形信道的信息傳輸速率5．6．2 波形信道的信道容量習(xí)題第6章 限失真信源編碼6．1 失真測(cè)度6．1．1 失真函數(shù)6．1．2 平均失真6．1．3 保真度準(zhǔn)則6．2 信息率失真函數(shù)6．2．1 信息率失真函數(shù)的定義6．2．2 R（D）函數(shù)的性質(zhì)6．2．3 R（D）函數(shù)的計(jì)算6．3 限失真信源編碼定理習(xí)題第7章 有噪信道編碼7．1 有噪信道編碼定理7．1．1 平均錯(cuò)誤概率7．1．2 信道編碼的基本思想7．1．3 有噪信道編碼定理7．1．4 信道編碼的途徑7．2 聯(lián)合信源信道編碼定理7．3 信道編碼的基本原理7．3．1 信道編碼的一般方法7．3．2 信道編碼的檢錯(cuò)和糾錯(cuò)能力7．3．3 最小漢明距離譯碼7．4 線性分組碼7．4．1 線性分組碼的編碼7．4．2 線性分組碼的譯碼7．4．3 完備碼和漢明碼7．4．4 循環(huán)碼7．5 卷積碼7．5．1 卷積碼的解析表示7．5．2 卷積碼的圖形描述7．5．3 卷積碼的譯碼方法7．5．4 遞歸型系統(tǒng)卷積碼7．6 Turbo碼7．6．1 Turbo編碼7．6．2 Turbo譯碼習(xí)題第8章 網(wǎng)絡(luò)信息論初步8．1 多用戶信道8．1．1 多址接入信道8．1．2 廣播信道8．1．3 相關(guān)信源的多用戶信道問(wèn)題8．2 無(wú)線信道8．2．1 信道模型8．2．2 圓對(duì)稱復(fù)數(shù)高斯隨機(jī)矢量8．2．3 MIMO高斯信道容量附錄概率論基礎(chǔ)知識(shí)概要參考文獻(xiàn)

章節(jié)摘錄

　　香農(nóng)信息定義的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個(gè)以經(jīng)典集合論為基礎(chǔ)的概率模型來(lái)描述。然而實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)，要尋找一個(gè)合適的概率模型往往是非常困難的。對(duì)某些情況來(lái)講，是否存在這樣一種模型還值得探討?！　∠戕r(nóng)信息的定義和度量沒(méi)有考慮收信者的主觀特性和主觀意義，也撇開(kāi)了信息的具體含義、具體用途、重要程度和引起后果等因素。這就與實(shí)際情況不完全一致。例如，當(dāng)?shù)玫酵幌⒑?，?duì)不同的收信者來(lái)說(shuō)常常會(huì)引起不同的感情、不同的關(guān)心程度、不同的價(jià)值，這些都應(yīng)認(rèn)為是獲得了不同的信息。又例如，甲乙兩人同去聽(tīng)一段音樂(lè)，若甲缺乏欣賞音樂(lè)的基本知識(shí)和必要訓(xùn)練，這種信息就不能發(fā)生什么作用。若乙是一位訓(xùn)練有素的音樂(lè)家，那么他將從這段音樂(lè)中獲得大量信息。因此，信息有很強(qiáng)的主觀性和實(shí)用性?！　∮纱丝梢?jiàn)，香農(nóng)信息的定義和度量是科學(xué)的，是能反映信息的某些本質(zhì)的；但同時(shí)卻是有缺陷的、有局限的，因此，它的適用范圍會(huì)受到嚴(yán)重的限制。但由于人們對(duì)信息的本質(zhì)認(rèn)識(shí)還不夠充分，所以，國(guó)際上尚未形成一個(gè)普遍公認(rèn)的、完整的、確切的定義。為此，有關(guān)信息的定義和其測(cè)度的研究還在不斷地深入。我們深信，隨著人們對(duì)信息這一概念的不斷深入研究，將會(huì)得出更合理、更確切的信息的定義和測(cè)度，徹底揭示信息的本質(zhì)，全面和準(zhǔn)確地把握信息。

編輯推薦

　　本書面向通信工程、電子信息工程、信息工程和電子信息科學(xué)與技術(shù)等專業(yè)教學(xué)需要，著重講授以經(jīng)典信息論內(nèi)容為主的信息論基礎(chǔ)，特別強(qiáng)調(diào)概念闡述清楚、理論體系相對(duì)完整，圍繞信息傳輸系統(tǒng)這一工程應(yīng)用背景建立信息論的數(shù)學(xué)分析方法。讀者在學(xué)習(xí)中應(yīng)結(jié)合信息傳輸系統(tǒng)的數(shù)學(xué)模型理解信息論中基本理論方法，培養(yǎng)抽象分析能力和系統(tǒng)工程概念。本書既可作為高等學(xué)校通信工程、電子信息工程和其他相近專業(yè)本科學(xué)生教材，也可以作為信息、通信、電子工程相關(guān)專業(yè)科技人員的參考書。

圖書封面

評(píng)論、評(píng)分、閱讀與下載

---

    信息論基礎(chǔ) PDF格式下載

---