信息論基礎(chǔ)

前言

　　信息科學(xué)是一門涉及面極廣的、有著廣泛應(yīng)用的科學(xué)。其任務(wù)是研究信息的定義、性質(zhì)、傳輸、處理、控制的基本原理和方法，也是現(xiàn)代信息科學(xué)和技術(shù)的一門基礎(chǔ)理論。它的理論基礎(chǔ)是從通信科學(xué)發(fā)展起來的信息論。香農(nóng)提出的信息論是一種統(tǒng)計(jì)意義上的信息理論。這一理論對(duì)通信技術(shù)的發(fā)展產(chǎn)生了持久和深刻的影響。因此，目前各高等院校的信息類專業(yè)（包括信息與計(jì)算科學(xué)專業(yè)）都把信息論作為本科生的一門重要的專業(yè)基礎(chǔ)課。同時(shí)，由于信息論的思想和方法已廣泛地滲透到許多其他的學(xué)科，信息論的許多結(jié)果也有相當(dāng)?shù)钠毡橐饬x，因此信息論在許多其他領(lǐng)域（如計(jì)算機(jī)科學(xué)、系統(tǒng)科學(xué)、統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)甚至社會(huì)學(xué)）都獲得了成功的應(yīng)用?！　”緯底髡吒鶕?jù)多年教學(xué)實(shí)踐經(jīng)驗(yàn)編著而成。書中主要介紹了香農(nóng)信息論的基本概念、基本方法和主要結(jié)果，并用基本的概率論工具闡述香農(nóng)信息論的基本思想和基本方法?！　∪珪卜?章。第1章是緒論。第2章介紹了概率統(tǒng)計(jì)的基礎(chǔ)知識(shí)，即使沒有學(xué)習(xí)過概率統(tǒng)計(jì)的同學(xué)通過學(xué)習(xí)該章的內(nèi)容后，也能夠繼續(xù)學(xué)習(xí)本書的后續(xù)內(nèi)容。第3章介紹了信息量化的基本理論——熵及其性質(zhì)。為了強(qiáng)調(diào)熵的相對(duì)性，我們從事件的互信息入手引入有關(guān)信息的量化概念，并由此導(dǎo)出事件自信息的概念，從而給出熵的嚴(yán)格定義。在介紹每一個(gè)概念的時(shí)候，我們都希望通過分析具體的例子，幫助讀者理解相應(yīng)的概念。在熵的概念基礎(chǔ)上，我們著重介紹了平穩(wěn)離散信源的信源熵的定義和計(jì)算理論。第4章介紹了信源的編碼理論和方法，香農(nóng)提出的典型列集合的概念在編碼理論中起著至關(guān)重要的作用。我們用信息論的理論和方法闡述了離散無記憶信源的等長(zhǎng)編碼理論和不等長(zhǎng)編碼理論，特別詳細(xì)地介紹了最佳不等長(zhǎng)編碼的理論和方法以及香農(nóng)編碼的基本方法，并從對(duì)策論的角度對(duì)比了這兩種方法的實(shí)用有效性；該章還介紹了平穩(wěn)有記憶信源（馬爾可夫信源）的編碼定理。第5章介紹了離散無記憶信道的容量和編碼定理。我們首先從一般的意義上給出了信道容量的定義，這一概念的提出是信息傳輸理論中的一個(gè)里程碑，它極大地推動(dòng)了信息理論的發(fā)展。然后我們介紹了幾種簡(jiǎn)單易行的信道容量的計(jì)算方法。在該章的最后，我們介紹了信道編碼理論的一個(gè)重要概念——聯(lián)合典型列對(duì)，并簡(jiǎn)介了信道編碼的基本思想?！　「兄x吉林大學(xué)數(shù)學(xué)學(xué)院信息與計(jì)算科學(xué)專業(yè)的部分同學(xué)，他們閱讀了本書的初稿，提出了許多有價(jià)值的參考意見。

內(nèi)容概要

本書是為高等學(xué)校信息與計(jì)算科學(xué)專業(yè)本科生編寫的教材。內(nèi)容包括概率論的基礎(chǔ)知識(shí)，香農(nóng)提出的有關(guān)信息量化的基本概念、方法和定理，以及信源的基本編碼理論和信道的基本編碼理論?！　”緯勺鳛楦叩葘W(xué)校信息與計(jì)算科學(xué)專業(yè)以及信息類專業(yè)的教材，也可作為相關(guān)課程的教學(xué)參考書。

書籍目錄

前言 第1章 緒論 第2章 概率統(tǒng)計(jì)的基礎(chǔ)知識(shí) 　2．1 概率空間 　2．2 條件概率 　2．3 獨(dú)立性 　2．4 隨機(jī)變量 　　2．4．1 隨機(jī)變量的基本性質(zhì) 　　2．4．2 隨機(jī)變量的獨(dú)立性 　2．5 隨機(jī)變量的數(shù)字特征 　　2．5．1 離散型 　　2．5．2 連續(xù)型 　2．6 大數(shù)定律 　習(xí)題2 第3章 離散信源的熵和信息量 　3．1 離散信源 　3．2 事件的互信息 　3．3 條件互信息和聯(lián)合事件的互信息 　3．4 事件的自信息 　3．5 離散隨機(jī)變量的平均自信息——熵 　3．6 熵的性質(zhì) 　3．7 香農(nóng)熵的公理化定義 　3．8 隨機(jī)變量的鑒別信息和平均互信息 　　3．8．1 隨機(jī)變量的鑒別信息 　　3．8．2 隨機(jī)變量的互信息 　3．9 馬爾可夫鏈和數(shù)據(jù)處理定理 　3．10 連續(xù)隨機(jī)變量的互信息和微分熵 　　3．10．1 連續(xù)隨機(jī)變量的互信息 　　3．10．2 連續(xù)隨機(jī)變量的熵——微分熵 　　3．10．3 微分熵的極大化 　3．11 凸函數(shù)和互信息的凸性 　　3．11．1 凸函數(shù)的概念和性質(zhì) 　　3．11．2 Kuhn-Tucker條件 　　3．11．3 互信息的凸性 　3．12 平穩(wěn)離散信源 　　3．12．1 平穩(wěn)離散信源的一般概念 　　3．12．2 平穩(wěn)信源的熵 　　3．12．3 馬爾可夫信源的熵 　習(xí)題3 第4章 離散信源的無錯(cuò)編碼 　4．1 漸近等同分割性和離散無記憶信源的等長(zhǎng)編碼 　　4．1．1 漸近等同分割性 　　4．1．2 離散無記憶信源的等長(zhǎng)編碼 　4．2 離散無記憶信源的不等長(zhǎng)編碼 　　4．2．1 Kraft不等式 　　4．2．2 不等長(zhǎng)編碼定理 　　4．2．3 最佳不等長(zhǎng)編碼(Huffman編碼) 　　4．2．4 其他不等長(zhǎng)編碼 　4．3　平穩(wěn)信源和馬爾可夫信源的編碼定理 　　4．3．1 平穩(wěn)信源的編碼 　　4．3．2 馬爾可夫信源的編碼定理 　習(xí)題4 第5章 離散無記憶信道的容量和編碼定理 　5．1 離散無記憶信道及其容量 　　5．1．1 信道容量的定義和舉例 　　5．1．2 對(duì)稱離散無記憶信道容量的計(jì)算 　　5．1．3 轉(zhuǎn)移概率矩陣可逆信道的容量計(jì)算 　　5．1．4 離散無記憶信道容量的迭代計(jì)算 　5．2 信道的組合 　　5．2．1 積信道(平行組合信道) 　　5．2．2 和信道 　　5．2．3 級(jí)聯(lián)信道 　5．3 離散無記憶信道的編碼定理 　　5．3．1 幾個(gè)有關(guān)定義 　　5．3．2 聯(lián)合典型列對(duì) 　　5．3．3 信道編碼定理 　習(xí)題5 參考文獻(xiàn)

章節(jié)摘錄

　　信息論是應(yīng)用近代概率統(tǒng)計(jì)方法研究信息傳輸、交換、儲(chǔ)存和處理的一門學(xué)科，也是源于通信實(shí)踐發(fā)展起來的一門新興的應(yīng)用科學(xué)?！　⌒畔⑹窍到y(tǒng)傳輸、交換、儲(chǔ)存和處理的對(duì)象，信息載荷在語(yǔ)言、文字、數(shù)據(jù)、圖像等消息之中。在信息論中，信息和消息是緊密相關(guān)的兩個(gè)不同概念。同樣一個(gè)消息，如一張當(dāng)日?qǐng)?bào)紙，不同的人從中獲得的信息是不一樣的；同樣的天氣預(yù)報(bào)，如“明天有雨”，對(duì)于干旱地區(qū)和雨量充沛地區(qū)來說，其信息含量也不一樣；一張紙寫上幾個(gè)字成為一封家書，對(duì)于收信者來說是家書抵萬金，但對(duì)別人而言就可能是廢紙一張?！　∫虼耍畔⑹且环N奇妙的東西，它是有別于物質(zhì)和能量的一種存在。信息的本質(zhì)和它的定義是當(dāng)前科學(xué)界乃至哲學(xué)界熱衷討論的課題?！　⌒畔⒌亩攘渴切畔⒄撗芯康幕菊n題。從目前的研究來看，要對(duì)通常意義下的信息給出一個(gè)統(tǒng)一的度量是困難的。至今最為成功也是最為普及的信息度量是由信息論創(chuàng)始人香農(nóng)（Shannon）提出的，是建立在概率模型基礎(chǔ)上的信息度量，他把信息定義為“用來消除不確定性的東西”，用概率的某種函數(shù)來描述不確定性是自然的，所以香農(nóng)用來度量事件發(fā)生所提供的自信息，這個(gè)定義與人們的直覺經(jīng)驗(yàn)相吻合。當(dāng)不特別強(qiáng)調(diào)對(duì)數(shù)的底a具體是什么時(shí)，本書中將省略a的書寫。

圖書封面

評(píng)論、評(píng)分、閱讀與下載

---

    信息論基礎(chǔ) PDF格式下載

---