信息論與編碼

內(nèi)容概要

　　信息論與編碼是研究信息傳輸和信息處理過(guò)程中一般規(guī)律和具體實(shí)現(xiàn)的一門應(yīng)用科學(xué)，是現(xiàn)代信息科學(xué)和工程技術(shù)的基礎(chǔ)理論?！缎畔⒄撆c編碼（第2版）》在吸取了國(guó)內(nèi)外經(jīng)典教材的優(yōu)點(diǎn)，結(jié)合作者們長(zhǎng)期教學(xué)和科研實(shí)踐經(jīng)驗(yàn)的基礎(chǔ)上編寫(xiě)而成。本書(shū)深入淺出，既保持理論的完整性、系統(tǒng)性和嚴(yán)謹(jǐn)性，又概念清晰、易讀好懂，同時(shí)還介紹了信息論與編碼技術(shù)的新發(fā)展。本書(shū)主要介紹Shannon信息論和相關(guān)的編碼技術(shù)。內(nèi)容包括如下11章：緒論，熵和互信息，離散無(wú)記憶信源的無(wú)損編碼，信道、信道容量及信道編碼定理，率失真理論和保真度準(zhǔn)則下的信源編碼，受限系統(tǒng)和受限系統(tǒng)編碼，線性分組糾錯(cuò)編碼，循環(huán)碼，卷積碼，先進(jìn)的信道編碼技術(shù)，多用戶信息論?！　　缎畔⒄撆c編碼（第2版）》適合作為高等院校電子信息類專業(yè)的高年級(jí)本科生和研究生教材，對(duì)于從事信息科學(xué)和技術(shù)領(lǐng)域工作和研究的人員也極具參考價(jià)值。

書(shū)籍目錄

第1章 緒論第2章 熵和互信息2.1 隨機(jī)變量的熵和互信息2.1.1 事件的自信息和互信息2.1.2 條件事件的互信息與聯(lián)合事件的互信息2.1.3 隨機(jī)變量的平均自信息——熵2.1.4 熵的性質(zhì)2.1.5 凸函數(shù)2.1.6 隨機(jī)變量間的平均互信息2.1.7 概率分布的散度（相對(duì)熵）2.1.8 關(guān)于疑義度的Fano不等式2.1.9 馬爾可夫鏈和數(shù)據(jù)處理定理2.1.10 Shannon信息度量與集合論之間的聯(lián)系2.1.11 信息論與博弈之間的關(guān)系2.2 連續(xù)隨機(jī)變量的互信息和微分熵2.2.1 連續(xù)隨機(jī)變量的互信息2.2.2 連續(xù)隨機(jī)變量的熵——微分熵2.2.3 微分熵的極大化2.3 平穩(wěn)離散信源的熵2.3.1 平穩(wěn)離散信源的一般概念2.3.2 平穩(wěn)信源的熵2.3.3 馬爾可夫信源2.4 平穩(wěn)隨機(jī)過(guò)程的信息量與熵習(xí)題第3章 離散無(wú)記憶信源的無(wú)損編碼3.1 離散無(wú)記憶信源的等長(zhǎng)編碼3.1.1 等長(zhǎng)編碼3.1.2 Shannon信源編碼定理敘述3.1.3 漸近等分性質(zhì)與Shannon定理的證明3.2 離散無(wú)記憶信源的不等長(zhǎng)編碼3.2.1 不等長(zhǎng)編碼的唯一可譯性和譯碼延時(shí)3.2.2 Kraft不等式3.2.3 不等長(zhǎng)編碼定理3.3 幾種不等長(zhǎng)編碼算法3.3.1 最佳不等長(zhǎng)編碼（Huffman編碼）3.3.2 Shannon編碼法3.3.3 Fano編碼3.3.4 Shannon-Fano-Elias編碼3.3.5 算術(shù)編碼3.3.6 通用信源編碼算法3.3.7 壓縮編碼與離散隨機(jī)數(shù)發(fā)生3.4 平穩(wěn)信源和馬爾可夫信源的編碼定理3.4.1 平穩(wěn)信源的編碼3.4.2 馬爾可夫信源的編碼習(xí)題第4章 信道、信道容量及信道編碼定理4.1 信道、信道模型和分類4.2 離散無(wú)記憶信道及其容量4.2.1 信道容量定義及例子4.2.2 離散無(wú)記憶信道的容量定理4.2.3 對(duì)稱離散無(wú)記憶信道容量的計(jì)算4.2.4 轉(zhuǎn)移概率矩陣可逆信道的容量計(jì)算4.2.5 離散無(wú)記憶信道容量的迭代計(jì)算4.3 信道的組合4.3.1 積信道（平行組合信道）4.3.2 和信道4.3.3 級(jí)聯(lián)信道4.4 離散無(wú)記憶信道的編碼定理4.4.1 幾個(gè)有關(guān)定義4.4.2 二元對(duì)稱信道編碼定理的證明4.4.3 一般離散無(wú)記憶信道編碼定理的證明（典型列方法）4.4.4 信道編碼定理之逆4.4.5 具有理想反饋的離散無(wú)記憶信道的容量4.4.6 信源、信道編碼分離定理和信源、信道聯(lián)合編碼4.5 加性高斯噪聲信道4.5.1 高斯信道的容量4.5.2 高斯信道編碼定理4.5.3 高斯信道編碼定理之逆4.5.4 帶有獨(dú)立高斯噪聲的平行信道4.5.5 帶有相關(guān)高斯噪聲的平行信道4.5.6 MIMO高斯信道的容量4.6 模擬信道的信道容量4.6.1 帶限、加性白高斯噪聲信道4.6.2 帶限、有色高斯噪聲信道習(xí)題第5章 率失真理論和保真度準(zhǔn)則下的信源編碼5.1 率失真函數(shù)的定義5.2 簡(jiǎn)單信源的率失真函數(shù)計(jì)算5.2.1 Hamming失真度量下的貝努利信源5.2.2 高斯信源5.2.3 高斯矢量信源5.3 率失真函數(shù)的性質(zhì)……第6章 受限系統(tǒng)和受限系統(tǒng)編碼第7章 線性分組糾錯(cuò)編碼第8章 循環(huán)碼第9章 卷積碼第10章 先進(jìn)的信道編碼技術(shù)第11章 多用戶信息論參考文獻(xiàn)

章節(jié)摘錄

眾所周知，自然界的信號(hào)都是連續(xù)的，無(wú)論是語(yǔ)音信號(hào)、圖像信號(hào)或各種傳感信號(hào)，不可能用有限比特不失真地表示它們。因此問(wèn)題在于如何設(shè)計(jì)一種編碼方法，使其在給定的許可失真范圍內(nèi)，用最少的比特表示它們，或者說(shuō)如何用給定的比特?cái)?shù)來(lái)表示這個(gè)連續(xù)信號(hào)，使失真最小。這就是保真度意義下的壓縮編碼。幾十年來(lái)，在這方面已發(fā)展了許多成功的實(shí)用壓縮編碼方法，比如矢量量化、預(yù)測(cè)編碼、變換編碼、子帶編碼等技術(shù)，其中許多技術(shù)已成為國(guó)際標(biāo)準(zhǔn)，例如ITU中關(guān)于語(yǔ)音壓縮和圖像壓縮的標(biāo)準(zhǔn)。正是由于這些有損壓縮編碼技術(shù)的應(yīng)用使得語(yǔ)音、圖像信號(hào)的碼率可以成十倍甚至上百倍地降低，同時(shí)使由壓縮編碼引起的信號(hào)質(zhì)量下降不為人類感官所覺(jué)察。這些編碼技術(shù)是當(dāng)前各種多媒體技術(shù)的核心。信道編碼也就是通常所說(shuō)的糾錯(cuò)編碼，是另一大類信息編碼技術(shù)。這類編碼的目的在于檢測(cè)或糾正傳輸中的錯(cuò)誤，提高信息在傳輸中的可靠性。糾錯(cuò)編碼中最早的Hamming碼是幾乎與香農(nóng)信息論同時(shí)被提出來(lái)的。早期糾錯(cuò)碼研究集中在線性分組碼，采用的數(shù)學(xué)工具是矩陣?yán)碚摗５?0世紀(jì)60年代，由于以有限域理論為主的抽象代數(shù)工具的引入使線性分組碼的研究突飛猛進(jìn)。循環(huán)碼，特別是BCH碼、RS碼等的研究，不僅為線性編碼的研究打下堅(jiān)實(shí)的基礎(chǔ)，而且由于代數(shù)構(gòu)造的引入使得譯碼復(fù)雜性大為下降。20世紀(jì)70年代以后基于概率譯碼的序貫編碼理論，特別是卷積碼，獲得了極大的發(fā)展。……

圖書(shū)封面

評(píng)論、評(píng)分、閱讀與下載

---

    信息論與編碼 PDF格式下載

---