信息論基礎(chǔ)

內(nèi)容概要

本書是作者多年教學(xué)和科研實(shí)踐的積累，是在吸收國內(nèi)外優(yōu)秀教材優(yōu)點(diǎn)的基礎(chǔ)上，進(jìn)一步優(yōu)化整合教學(xué)內(nèi)容，并進(jìn)行改進(jìn)和補(bǔ)充而成的。全書共分為12章，內(nèi)容包括：信息的基本概念、香農(nóng)信息論研究的內(nèi)容與進(jìn)展，離散信息的度量，離散信源，連續(xù)信息與連續(xù)信源，無失真信源編碼，離散信道及其容量，有噪信道編碼，波形信道，信息率失真函數(shù)，有約束信道及其編碼，網(wǎng)絡(luò)信息論初步，信息理論方法與應(yīng)用等。    本書強(qiáng)調(diào)定理中物理概念和結(jié)論的理解與掌握，簡化煩瑣的數(shù)學(xué)推導(dǎo)，注重使用明確、直觀的物理概念，增加實(shí)例，力求讓講述的內(nèi)容更適合工科專業(yè)學(xué)生的學(xué)習(xí)。本書有*號的部分可以作為選學(xué)內(nèi)容，有利于教師根據(jù)教學(xué)計(jì)劃進(jìn)行調(diào)整。每章的思考題和習(xí)題可以作為課后的練習(xí)。    學(xué)習(xí)本課程的主要目的是，理解香農(nóng)信息論的基本原理，掌握信息與熵的基本運(yùn)算方法。    本書主要用做到等院校信息與通信及相關(guān)專業(yè)的教材，還可作為相關(guān)專業(yè)的研究生和工程技術(shù)人員的參考書。

書籍目錄

第1章 緒論  1.1 信息的基本概念    1.1.1 信息論的產(chǎn)生    1.1.2 信息的基本概念  1.2 香農(nóng)信息論研究的內(nèi)容    1.2.1 通信系統(tǒng)模型    1.2.2 香農(nóng)信息論的主要內(nèi)容  1.3 香農(nóng)信息論研究的進(jìn)展與應(yīng)用    1.3.1 香農(nóng)信息論創(chuàng)立的背景    1.3.2 香農(nóng)的主要貢獻(xiàn)    1.3.3 香農(nóng)信息論的研究進(jìn)展    1.3.4 香農(nóng)信息論的應(yīng)用  思考題第2章 離散信息的度量  2.1 自信息和互信息    2.1.1 自信息    2.1.2 互信息  2.2 信息熵    2.2.1 信息熵的定義與計(jì)算    2.2.2 條件熵與聯(lián)合熵     2.2.3 熵的基本性質(zhì)  2.3 平均互信息    2.3.1 平均互信息的定義    2.3.2 平均互信息的性質(zhì)    2.3.3 平均條件互信息  本章小結(jié)  思考題  習(xí)題第3章 離散信源  3.1 離散信源的分類與數(shù)學(xué)模型    3.1.1 離散信源的分類    3.1.2 離散無記憶信源的數(shù)學(xué)模型    3.1.3 離散有記憶信源的數(shù)學(xué)模型  3.2 離散無記憶信源的熵    3.2.1 單符號離散無記憶信源的熵    3.2.2 離散無記憶信源N次擴(kuò)展源的熵  3.3 離散平穩(wěn)信源的熵    3.3.1 離散平穩(wěn)信源    3.3.2 離散平穩(wěn)有記憶信源的熵  3.4 有限狀態(tài)馬爾可夫鏈    3.4.1 馬氏鏈基本概念    3.4.2 齊次馬氏鏈    3.4.3 馬氏鏈狀態(tài)分類    3.4.4 馬氏鏈的平穩(wěn)分布  3.5 馬爾可夫信源    3.5.1 馬氏源的基本概念    3.5.2 馬氏源的產(chǎn)生模型    3.5.3 馬氏鏈N次擴(kuò)展源的熵的計(jì)算    3.5.4 馬氏源符號熵的計(jì)算  3.6 信源的相關(guān)性與剩余度    3.6.1 信源的相關(guān)性    3.6.2 信源剩余度（冗余度）    3.6.3 自然語言的相關(guān)性和剩余度  本章小結(jié)  思考題  習(xí)題第4章 連續(xù)信息與連續(xù)信源  4.1 連續(xù)隨機(jī)變量集合的熵    4.1.1 連續(xù)隨機(jī)變量的離散化    4.1.2 連續(xù)隨機(jī)變量集的熵    4.1.3 連續(xù)隨機(jī)變量集的條件熵    4.1.4 連續(xù)隨機(jī)變量集的聯(lián)合熵    4.1.5 連續(xù)隨機(jī)變量集合差熵的性質(zhì)    4.1.6 連續(xù)隨機(jī)變量集合的信息散度  4.2 離散時(shí)間高斯信源的熵    4.2.1 維高斯隨機(jī)變量集的熵    4.2.2 多維獨(dú)立高斯隨機(jī)變量集的熵    4.2.3 多維相關(guān)高斯隨機(jī)變量集的熵  4.3 連續(xù)最大熵定理    4.3.1 限峰值最大熵定理    4.3.2 限功率最大熵定理    4.3.3 熵功率和剩余度  4.4 連續(xù)隨機(jī)變量集的平均互信息    4.4.1 連續(xù)隨機(jī)變量集的平均互信息    4.4.2 連續(xù)隨機(jī)變量集平均互信息的性質(zhì)  4.5 離散集與連續(xù)集之間的互信息    4.5.1 離散事件與連續(xù)事件之間的互信息    4.5.2 離散集合與連續(xù)集合的平均互信息  本章小結(jié)  思考題  習(xí)題第5章 無失真信源編碼  5.1 概述    5.1.1 信源編碼器    5.1.2 信源編碼的分類    5.1.3 分組碼  5.2 定長碼    5.2.1 無失真編碼條件    5.2.2 信源序列分組定理    5.2.3 定長碼信源編碼定理  5.3 變長碼    5.3.1 異前置碼的性質(zhì)    5.3.2 變長碼信源編碼定理  5.4 哈夫曼編碼    5.4.1 二元哈夫曼編碼    5.4.2 多元哈夫曼編碼    5.4.3 馬氏源的編碼 *5.5 幾種實(shí)用的編碼方法    5.5.1 算術(shù)編碼    5.5.2 游程編碼    5.5.3 L-Z編碼  本章小結(jié)  思考題  習(xí)題第6章 離散信道及其容量  6.1 概述    6.1.1 信道的分類    6.1.2 離散信道的數(shù)學(xué)模型    6.1.3 信道容量的定義  6.2 單符號離散信道及其容量    6.2.1 離散無噪信道的容量    6.2.2 離散對稱信道的容量    6.2.3 般離散信道的容量  6.3 級聯(lián)信道及其容量  6.4 多維矢量信道及其容量    6.4.1 多維矢量信道輸入與輸出的性質(zhì)    6.4.2 離散無記憶擴(kuò)展信道及其容量    6.4.3 并聯(lián)信道及其容量    6.4.4 和信道及其容量  6.5 信道容量的迭代計(jì)算  本章小結(jié)  思考題  習(xí)題第7章 有噪信道編碼  7.1 概述    7.1.1 信道編碼的基本概念    7.1.2 判決與譯碼規(guī)則    7.1.3 譯碼錯(cuò)誤概率  7.2 最佳判決與譯碼準(zhǔn)則    7.2.1 最大后驗(yàn)概率準(zhǔn)則    7.2.2 最大似然準(zhǔn)則  7.3 信道編碼與最佳譯碼    7.3.1 線性分組碼    7.3.2 序列最大似然譯碼    7.3.3 幾種簡單的分組碼  7.4 費(fèi)諾（Fano）不等式    7.4.1 信道疑義度    7.4.2 費(fèi)諾（Fano）不等式  7.5 有噪信道編碼定理    7.5.1 聯(lián)合典型序列    7.5.2 有噪信道編碼定理    7.5.3 無失真信源信道編碼定理  7.6 糾錯(cuò)編碼技術(shù)簡介    7.6.1 線性分組碼的編譯碼    7.6.2 幾種重要的分組碼    7.6.3 卷積碼簡介 *7.7 信道編碼性能界限    7.7.1 漢明球包界    7.7.2 Varsharmov-Gilberlt界    7.7.3 P1otkin界  本章小結(jié)  思考題  習(xí)題第8章 波形信道  8.1 離散時(shí)間連續(xù)信道    8.1.1 時(shí)間離散連續(xù)信道模型    8.1.2 平穩(wěn)無記憶連續(xù)信道    8.1.3 多維矢量連續(xù)信道的性質(zhì)    8.1.4 離散時(shí)間連續(xù)信道的容量  8.2 加性噪聲信道與容量    8.2.1 加性噪聲信道的容量    8.2.2 加性高斯噪聲信道的容量    8.2.3 般加性噪聲信道容量界    8.2.4 并聯(lián)加性高斯噪聲信道的容量  8.3 AWGN信道的容量    8.3.1 加性高斯噪聲波形信道    8.3.2 波形信道的互信息與容量    8.3.3 AWGN信道的容量    8.3.4 高斯噪聲信道編碼定理    8.3.5 功率利用率和頻譜利用率的關(guān)系  8.4 有色高斯噪聲信道    8.4.1 有色高斯噪聲信道容量    8.4.2 AWGN信道容量的進(jìn)一步討論 *8.5 數(shù)字調(diào)制系統(tǒng)的信道容量  本章小結(jié)  思考題  習(xí)題第9章 信息率失真函數(shù)  9.1 概述    9.1.1 系統(tǒng)模型    9.1.2 失真測度  9.2 離散信源信息率失真函數(shù)    9.2.1 信息率失真函數(shù)    9.2.2 R（D）函數(shù)的性質(zhì)  9.3 限失真信源編碼定理    9.3.1 碼率的壓縮    9.3.2 限失真信源編碼定理    9.3.3 限失真信源信道編碼定理  9.4 離散信源信息率失真函數(shù)的計(jì)算    9.4.1 R（D）參量表示法求解    9.4.2 R（D）求解過程歸納    9.4.3 參量s的意義  9.5 連續(xù)信源信息率失真函數(shù)    9.5.1 信息率失真函數(shù)與性質(zhì)    9.5.2  R（D）函數(shù)的計(jì)算    9.5.3 差值失真測度  9.6 高斯信源的R（D）函數(shù)    9.6.1 離散時(shí)間無記憶高斯信源    9.6.2 獨(dú)立并聯(lián)高斯信源  9.7 一般連續(xù)信源R（D）函數(shù) *9.8 有損數(shù)據(jù)壓縮技術(shù)簡介    9.8.1 量化    9.8.2 預(yù)測編碼    9.8.3 子帶編碼    9.8.4 變換編碼  本章小結(jié)  思考題  習(xí)題第10章 有約束信道及其編碼  10.1 標(biāo)號圖的性質(zhì)    10.1.1 標(biāo)號圖的基本概念    10.1.2 標(biāo)號圖的變換  10.2 有約束信道容量    10.2.1 有約束信道容量的定義    10.2.2 等時(shí)長符號有約束信道的容量    10.2.3 不等時(shí)長符號無約束信道的容量    10.2.4 不等時(shí)長符號有約束信道的容量  10.3 有約束序列的性質(zhì)    10.3.1 信道對傳輸序列的約束    10.3.2 游程長度受限序列（RLL）    10.3.3 部分響應(yīng)最大似然（PRML）序列    10.3.4 直流平衡序列    10.3.5 其他頻域受限序列  10.4 有約束信道編碼定理    10.4.1 編碼器的描述    10.4.2 有約束信道編碼定理    10.4.3 有限狀態(tài)編碼定理    10.4.4 編碼器性能指標(biāo) *10.5 有約束序列編碼與應(yīng)用    10.5.1 塊編碼器    10.5.2 實(shí)用直流平衡序列    10.5.3 常用有約束序列編碼及應(yīng)用  本章小結(jié)  思考題  習(xí)題第11章 網(wǎng)絡(luò)信息論初步  11.1 概述  11.2 多址接人信道    11.2.1 二址接入信道的容量    11.2.2 不同多址方式下的接入信道容量分析    11.2.3 多址接入信道的容量  11.3 廣播信道    11.3.1 退化廣播信道    11.3.2 退化廣播信道的容量區(qū)域  11.4 相關(guān)信源編碼    11.4.1 典型的相關(guān)信源編碼模型    11.4.2 S1epiarr—Wolf相關(guān)信源編碼定理  本章小結(jié)  思考題  習(xí)題*第12章 信息理論方法及其應(yīng)用  12.1 信源熵的估計(jì)    12.1.1 離散信源序列熵的估計(jì)    12.1.2 連續(xù)信源熵的估計(jì)  12.2 最大熵原理    12.2.1 最大熵原理的描述    12.2.2 熵集中定理    12.2.3 幾種重要的最大熵分布  12.3 最小交叉熵原理    12.3.1 最小交叉熵原理    12.3.2 交叉熵的性質(zhì)    12.3.3 最小交叉熵推斷的性質(zhì)    12.3.4 交叉熵法  12.4 信息理論方法的應(yīng)用    12.4.1 DNA序列的熵估計(jì)和壓縮    12.4.2 最大熵譜估計(jì)和最小交叉熵譜估計(jì)    12.4.3 最大熵建模及其在自然語言處理中的應(yīng)用    12.4.4 最大熵原理在經(jīng)濟(jì)學(xué)中的應(yīng)用    12.4.5 信息理論方法應(yīng)用展望  本章小結(jié)  思考題  習(xí)題參考文獻(xiàn)

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    信息論基礎(chǔ) PDF格式下載

---