信息論基礎(chǔ)

前言

（1）信息論簡(jiǎn)史信息論是20世紀(jì)40年代后期從長(zhǎng)期通訊實(shí)踐中總結(jié)出來(lái)的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學(xué)。信息是系統(tǒng)傳輸和處理的對(duì)象，它載荷于語(yǔ)言、文字、數(shù)據(jù)、圖像、影視、信號(hào)等之中，要研究信息處理和傳輸?shù)囊?guī)律，首先要對(duì)信息進(jìn)行定量的描述，即信息的度量，這是信息論研究的出發(fā)點(diǎn)。但要對(duì)通常含義下的信息（如知識(shí)、情報(bào)、消息等）給出一個(gè)統(tǒng)一的度量是困難的，因?yàn)樗婕翱陀^和主觀兩個(gè)標(biāo)準(zhǔn)，而迄今為止最成功、應(yīng)用最廣泛的是建立在概率模型基礎(chǔ)上的信息度量，進(jìn)而建立在此種信息量基礎(chǔ)上的信息論成功地解決了信息處理和可靠傳輸中的一系列理論問題。切略（E.c.Cherry）曾寫過(guò)一篇早期信息理論史，他從石刻象形文字起，經(jīng)過(guò)中世紀(jì)啟蒙性語(yǔ)言學(xué)，直到16世紀(jì)吉爾伯特（E.N.Gilbert）等人在電報(bào)學(xué)方面的工作。現(xiàn)代信息論實(shí)際是從20世紀(jì)20年代奈奎斯特（H.Nyquist，）和哈特萊（L.V.R.Hartley）的工作開始的，他們最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?？藙诘隆ど贽r(nóng)（Claude Shannon）于1948年發(fā)表的具有里程碑性質(zhì)的論文“通信的數(shù)學(xué)理論”是世界上首次將通訊過(guò)程建立了數(shù)學(xué)模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。申農(nóng)開創(chuàng)性地定義了“信息”，他所定義的信息與語(yǔ)義無(wú)關(guān)，而是反映了將“信息”編碼成由簡(jiǎn)單的0和1表示的語(yǔ)言的能力，由此整個(gè)通訊過(guò)程可表示成以下的過(guò)程，從一個(gè)信源發(fā)出的消息，經(jīng)過(guò)編碼后通過(guò)一個(gè)信道傳輸給接收者，接收者通過(guò)譯碼器將收到的信號(hào)復(fù)原成信源發(fā)出的原消息。申農(nóng)證明了任何的信息源——文本、圖像、影視、數(shù)據(jù)——都伴隨著一個(gè)可定量化的信息內(nèi)涵，它表示了可以如何有效地表達(dá)這類信息的能力，此即信息壓縮的基礎(chǔ)，比如，申農(nóng)證明了任何人再聰明也不可能把英文文本壓縮到1.5比特／字母。申農(nóng)還揭示了人們通過(guò)一個(gè)有噪音的信道傳輸信息的有效性的極限，稱之謂信道容量。申農(nóng)以上的工作奠定了現(xiàn)在稱之謂“信息論”的理論基礎(chǔ)，他關(guān)于信息處理和可靠通訊的工作是當(dāng)今無(wú)所不在的數(shù)據(jù)壓縮、調(diào)制解調(diào)器、廣播、電視、衛(wèi)星通信、計(jì)算機(jī)存儲(chǔ)乃至因特網(wǎng)通訊的理論基礎(chǔ)。此外申農(nóng)在第二次世界大戰(zhàn)期間在密碼方面的工作形成了現(xiàn)代信息安全系統(tǒng)的理論框架。

內(nèi)容概要

信息論是20世紀(jì)40年代后期從長(zhǎng)期通訊實(shí)踐中總結(jié)出來(lái)的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)牡囊话阋?guī)律的學(xué)科。全書共分7章，內(nèi)容包括：隨機(jī)變量的信息度量；隨機(jī)過(guò)程的信息度量；數(shù)據(jù)壓縮和信源編碼；數(shù)據(jù)可靠傳輸和信道編碼；限失真數(shù)據(jù)壓縮和率失真理論；網(wǎng)絡(luò)信息理論；信息論應(yīng)用等。既包括了信息論的基本理論，也設(shè)計(jì)了一些信息處理的算法及信息論在其他領(lǐng)域的應(yīng)用。
本書可作為數(shù)學(xué)類信息與計(jì)算科學(xué)專業(yè)的教材，也可為其他專業(yè)同類課程所用。

書籍目錄

前言第一章 隨機(jī)變量的信息度量1.1 自信息1.2 熵、聯(lián)合熵、條件熵1.3 相對(duì)熵和互信息11.4 信息量的一些基本性質(zhì)1.5 廣義熵習(xí)題一第二章 隨機(jī)過(guò)程的信息度量和漸近等分性2.1 信源和隨機(jī)過(guò)程的基本概念2.2 隨機(jī)過(guò)程的信息度量2.3 漸近等分性質(zhì)2.4 漸近等分性在數(shù)據(jù)壓縮中的應(yīng)用——信源編碼定理2.5 Shan：non.McMillan-Breiman定理習(xí)題二第三章 數(shù)據(jù)壓縮和信源編碼3.1 等長(zhǎng)碼3.2 變長(zhǎng)編碼3.3 哈夫曼（Huffman）碼3.4 算術(shù)碼3.4.1 申農(nóng)一法諾碼3.4.2 自適應(yīng)算術(shù)碼3.5 通用信源編碼3.5.1 Lz算法3.5.2 Lzw（Lempel-ziv-Welch）算法3.5.3 Kieffer.Yang算法（基于語(yǔ)法的普適信源壓縮算法）習(xí)題三第四章 數(shù)據(jù)可靠傳輸和信道編碼4.1 離散無(wú)記憶信道和信道容量4.2 信道容量的計(jì)算4.2.1 拉格朗日乘子法4.2.2 信道容量的迭代算法4.3 信道編碼理論4.3.1 一些定義和概念4.3.2 聯(lián)合典型序列4.3.3 信道編碼定理4.4 帶反饋的信道模型4.5 聯(lián)合信源信道編碼定理4.6 線性分組碼習(xí)題四第五章 限失真信源編碼和率失真函數(shù)5.1 限失真信源編碼模型和率失真函數(shù)5.1.1 限失真信源編碼模型和率失真函數(shù)定義5.1.2 率失真函數(shù)的性質(zhì)5.1.3 平穩(wěn)信源的率失真函數(shù)5.2 率失真函數(shù)的計(jì)算5.2.1 一個(gè)簡(jiǎn)單的例子5.2.2 拉格朗日乘子法5.2.3 迭代算法5.3 限失真信源編碼定理習(xí)題五第六章 連續(xù)信源和信道編碼理論6.1 可微熵6.2 相對(duì)熵和互信息6.3 連續(xù)信源的率失真函數(shù)6.3.1 率失真函數(shù)和失真率函數(shù)6.3.2 高斯信源的率失真函數(shù)6.3.3 一般連續(xù)信源的率失真函數(shù)6.4 高斯信道6.4.1 有加性噪聲的信道模型和信道容量6.4.2 復(fù)合高斯信道和平穩(wěn)高斯信道習(xí)題六第七章 網(wǎng)絡(luò)信息理論7.1 網(wǎng)絡(luò)通信模型7.2 多變量聯(lián)合典型序列7.3 多址信道7.3.1 二址信道模型和編碼定理7.3.2 多址信道容量區(qū)域的計(jì)算7.3.3 高斯多址信道7.4 相關(guān)信源編碼7.4.1 S1epian-Wolf模型7.5 相關(guān)信源和多址信道復(fù)合編碼問題習(xí)題七參考文獻(xiàn)

章節(jié)摘錄

插圖：

圖書封面

圖書標(biāo)簽Tags

無(wú)

評(píng)論、評(píng)分、閱讀與下載

---

    信息論基礎(chǔ) PDF格式下載

---