信息論基礎(chǔ)

前言

（1）信息論簡史信息論是20世紀40年代后期從長期通訊實踐中總結(jié)出來的一門學科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學。信息是系統(tǒng)傳輸和處理的對象，它載荷于語言、文字、數(shù)據(jù)、圖像、影視、信號等之中，要研究信息處理和傳輸?shù)囊?guī)律，首先要對信息進行定量的描述，即信息的度量，這是信息論研究的出發(fā)點。但要對通常含義下的信息（如知識、情報、消息等）給出一個統(tǒng)一的度量是困難的，因為它涉及客觀和主觀兩個標準，而迄今為止最成功、應用最廣泛的是建立在概率模型基礎(chǔ)上的信息度量，進而建立在此種信息量基礎(chǔ)上的信息論成功地解決了信息處理和可靠傳輸中的一系列理論問題。切略（E.c.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀啟蒙性語言學，直到16世紀吉爾伯特（E.N.Gilbert）等人在電報學方面的工作?，F(xiàn)代信息論實際是從20世紀20年代奈奎斯特（H.Nyquist，）和哈特萊（L.V.R.Hartley）的工作開始的，他們最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?？藙诘隆ど贽r(nóng)（Claude Shannon）于1948年發(fā)表的具有里程碑性質(zhì)的論文“通信的數(shù)學理論”是世界上首次將通訊過程建立了數(shù)學模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。申農(nóng)開創(chuàng)性地定義了“信息”，他所定義的信息與語義無關(guān)，而是反映了將“信息”編碼成由簡單的0和1表示的語言的能力，由此整個通訊過程可表示成以下的過程，從一個信源發(fā)出的消息，經(jīng)過編碼后通過一個信道傳輸給接收者，接收者通過譯碼器將收到的信號復原成信源發(fā)出的原消息。申農(nóng)證明了任何的信息源——文本、圖像、影視、數(shù)據(jù)——都伴隨著一個可定量化的信息內(nèi)涵，它表示了可以如何有效地表達這類信息的能力，此即信息壓縮的基礎(chǔ)，比如，申農(nóng)證明了任何人再聰明也不可能把英文文本壓縮到1.5比特／字母。申農(nóng)還揭示了人們通過一個有噪音的信道傳輸信息的有效性的極限，稱之謂信道容量。申農(nóng)以上的工作奠定了現(xiàn)在稱之謂“信息論”的理論基礎(chǔ)，他關(guān)于信息處理和可靠通訊的工作是當今無所不在的數(shù)據(jù)壓縮、調(diào)制解調(diào)器、廣播、電視、衛(wèi)星通信、計算機存儲乃至因特網(wǎng)通訊的理論基礎(chǔ)。此外申農(nóng)在第二次世界大戰(zhàn)期間在密碼方面的工作形成了現(xiàn)代信息安全系統(tǒng)的理論框架。

內(nèi)容概要

信息論是20世紀40年代后期從長期通訊實踐中總結(jié)出來的一門學科，是專門研究信息的有效處理和可靠傳輸?shù)牡囊话阋?guī)律的學科。全書共分7章，內(nèi)容包括：隨機變量的信息度量；隨機過程的信息度量；數(shù)據(jù)壓縮和信源編碼；數(shù)據(jù)可靠傳輸和信道編碼；限失真數(shù)據(jù)壓縮和率失真理論；網(wǎng)絡(luò)信息理論；信息論應用等。既包括了信息論的基本理論，也設(shè)計了一些信息處理的算法及信息論在其他領(lǐng)域的應用。
本書可作為數(shù)學類信息與計算科學專業(yè)的教材，也可為其他專業(yè)同類課程所用。

書籍目錄

前言第一章 隨機變量的信息度量1.1 自信息1.2 熵、聯(lián)合熵、條件熵1.3 相對熵和互信息11.4 信息量的一些基本性質(zhì)1.5 廣義熵習題一第二章 隨機過程的信息度量和漸近等分性2.1 信源和隨機過程的基本概念2.2 隨機過程的信息度量2.3 漸近等分性質(zhì)2.4 漸近等分性在數(shù)據(jù)壓縮中的應用——信源編碼定理2.5 Shan：non.McMillan-Breiman定理習題二第三章 數(shù)據(jù)壓縮和信源編碼3.1 等長碼3.2 變長編碼3.3 哈夫曼（Huffman）碼3.4 算術(shù)碼3.4.1 申農(nóng)一法諾碼3.4.2 自適應算術(shù)碼3.5 通用信源編碼3.5.1 Lz算法3.5.2 Lzw（Lempel-ziv-Welch）算法3.5.3 Kieffer.Yang算法（基于語法的普適信源壓縮算法）習題三第四章 數(shù)據(jù)可靠傳輸和信道編碼4.1 離散無記憶信道和信道容量4.2 信道容量的計算4.2.1 拉格朗日乘子法4.2.2 信道容量的迭代算法4.3 信道編碼理論4.3.1 一些定義和概念4.3.2 聯(lián)合典型序列4.3.3 信道編碼定理4.4 帶反饋的信道模型4.5 聯(lián)合信源信道編碼定理4.6 線性分組碼習題四第五章 限失真信源編碼和率失真函數(shù)5.1 限失真信源編碼模型和率失真函數(shù)5.1.1 限失真信源編碼模型和率失真函數(shù)定義5.1.2 率失真函數(shù)的性質(zhì)5.1.3 平穩(wěn)信源的率失真函數(shù)5.2 率失真函數(shù)的計算5.2.1 一個簡單的例子5.2.2 拉格朗日乘子法5.2.3 迭代算法5.3 限失真信源編碼定理習題五第六章 連續(xù)信源和信道編碼理論6.1 可微熵6.2 相對熵和互信息6.3 連續(xù)信源的率失真函數(shù)6.3.1 率失真函數(shù)和失真率函數(shù)6.3.2 高斯信源的率失真函數(shù)6.3.3 一般連續(xù)信源的率失真函數(shù)6.4 高斯信道6.4.1 有加性噪聲的信道模型和信道容量6.4.2 復合高斯信道和平穩(wěn)高斯信道習題六第七章 網(wǎng)絡(luò)信息理論7.1 網(wǎng)絡(luò)通信模型7.2 多變量聯(lián)合典型序列7.3 多址信道7.3.1 二址信道模型和編碼定理7.3.2 多址信道容量區(qū)域的計算7.3.3 高斯多址信道7.4 相關(guān)信源編碼7.4.1 S1epian-Wolf模型7.5 相關(guān)信源和多址信道復合編碼問題習題七參考文獻

章節(jié)摘錄

插圖：

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    信息論基礎(chǔ) PDF格式下載

---