信息論基礎

內(nèi)容概要

本書是作者多年教學和科研實踐的積累，是在吸收國內(nèi)外優(yōu)秀教材優(yōu)點的基礎上，進一步優(yōu)化整合教學內(nèi)容，并進行改進和補充而成的。全書共分為12章，內(nèi)容包括：信息的基本概念、香農(nóng)信息論研究的內(nèi)容與進展，離散信息的度量，離散信源，連續(xù)信息與連續(xù)信源，無失真信源編碼，離散信道及其容量，有噪信道編碼，波形信道，信息率失真函數(shù)，有約束信道及其編碼，網(wǎng)絡信息論初步，信息理論方法與應用等。    本書強調(diào)定理中物理概念和結(jié)論的理解與掌握，簡化煩瑣的數(shù)學推導，注重使用明確、直觀的物理概念，增加實例，力求讓講述的內(nèi)容更適合工科專業(yè)學生的學習。本書有*號的部分可以作為選學內(nèi)容，有利于教師根據(jù)教學計劃進行調(diào)整。每章的思考題和習題可以作為課后的練習。    學習本課程的主要目的是，理解香農(nóng)信息論的基本原理，掌握信息與熵的基本運算方法。    本書主要用做到等院校信息與通信及相關專業(yè)的教材，還可作為相關專業(yè)的研究生和工程技術人員的參考書。

書籍目錄

第1章 緒論  1.1 信息的基本概念    1.1.1 信息論的產(chǎn)生    1.1.2 信息的基本概念  1.2 香農(nóng)信息論研究的內(nèi)容    1.2.1 通信系統(tǒng)模型    1.2.2 香農(nóng)信息論的主要內(nèi)容  1.3 香農(nóng)信息論研究的進展與應用    1.3.1 香農(nóng)信息論創(chuàng)立的背景    1.3.2 香農(nóng)的主要貢獻    1.3.3 香農(nóng)信息論的研究進展    1.3.4 香農(nóng)信息論的應用  思考題第2章 離散信息的度量  2.1 自信息和互信息    2.1.1 自信息    2.1.2 互信息  2.2 信息熵    2.2.1 信息熵的定義與計算    2.2.2 條件熵與聯(lián)合熵     2.2.3 熵的基本性質(zhì)  2.3 平均互信息    2.3.1 平均互信息的定義    2.3.2 平均互信息的性質(zhì)    2.3.3 平均條件互信息  本章小結(jié)  思考題  習題第3章 離散信源  3.1 離散信源的分類與數(shù)學模型    3.1.1 離散信源的分類    3.1.2 離散無記憶信源的數(shù)學模型    3.1.3 離散有記憶信源的數(shù)學模型  3.2 離散無記憶信源的熵    3.2.1 單符號離散無記憶信源的熵    3.2.2 離散無記憶信源N次擴展源的熵  3.3 離散平穩(wěn)信源的熵    3.3.1 離散平穩(wěn)信源    3.3.2 離散平穩(wěn)有記憶信源的熵  3.4 有限狀態(tài)馬爾可夫鏈    3.4.1 馬氏鏈基本概念    3.4.2 齊次馬氏鏈    3.4.3 馬氏鏈狀態(tài)分類    3.4.4 馬氏鏈的平穩(wěn)分布  3.5 馬爾可夫信源    3.5.1 馬氏源的基本概念    3.5.2 馬氏源的產(chǎn)生模型    3.5.3 馬氏鏈N次擴展源的熵的計算    3.5.4 馬氏源符號熵的計算  3.6 信源的相關性與剩余度    3.6.1 信源的相關性    3.6.2 信源剩余度（冗余度）    3.6.3 自然語言的相關性和剩余度  本章小結(jié)  思考題  習題第4章 連續(xù)信息與連續(xù)信源  4.1 連續(xù)隨機變量集合的熵    4.1.1 連續(xù)隨機變量的離散化    4.1.2 連續(xù)隨機變量集的熵    4.1.3 連續(xù)隨機變量集的條件熵    4.1.4 連續(xù)隨機變量集的聯(lián)合熵    4.1.5 連續(xù)隨機變量集合差熵的性質(zhì)    4.1.6 連續(xù)隨機變量集合的信息散度  4.2 離散時間高斯信源的熵    4.2.1 維高斯隨機變量集的熵    4.2.2 多維獨立高斯隨機變量集的熵    4.2.3 多維相關高斯隨機變量集的熵  4.3 連續(xù)最大熵定理    4.3.1 限峰值最大熵定理    4.3.2 限功率最大熵定理    4.3.3 熵功率和剩余度  4.4 連續(xù)隨機變量集的平均互信息    4.4.1 連續(xù)隨機變量集的平均互信息    4.4.2 連續(xù)隨機變量集平均互信息的性質(zhì)  4.5 離散集與連續(xù)集之間的互信息    4.5.1 離散事件與連續(xù)事件之間的互信息    4.5.2 離散集合與連續(xù)集合的平均互信息  本章小結(jié)  思考題  習題第5章 無失真信源編碼  5.1 概述    5.1.1 信源編碼器    5.1.2 信源編碼的分類    5.1.3 分組碼  5.2 定長碼    5.2.1 無失真編碼條件    5.2.2 信源序列分組定理    5.2.3 定長碼信源編碼定理  5.3 變長碼    5.3.1 異前置碼的性質(zhì)    5.3.2 變長碼信源編碼定理  5.4 哈夫曼編碼    5.4.1 二元哈夫曼編碼    5.4.2 多元哈夫曼編碼    5.4.3 馬氏源的編碼 *5.5 幾種實用的編碼方法    5.5.1 算術編碼    5.5.2 游程編碼    5.5.3 L-Z編碼  本章小結(jié)  思考題  習題第6章 離散信道及其容量  6.1 概述    6.1.1 信道的分類    6.1.2 離散信道的數(shù)學模型    6.1.3 信道容量的定義  6.2 單符號離散信道及其容量    6.2.1 離散無噪信道的容量    6.2.2 離散對稱信道的容量    6.2.3 般離散信道的容量  6.3 級聯(lián)信道及其容量  6.4 多維矢量信道及其容量    6.4.1 多維矢量信道輸入與輸出的性質(zhì)    6.4.2 離散無記憶擴展信道及其容量    6.4.3 并聯(lián)信道及其容量    6.4.4 和信道及其容量  6.5 信道容量的迭代計算  本章小結(jié)  思考題  習題第7章 有噪信道編碼  7.1 概述    7.1.1 信道編碼的基本概念    7.1.2 判決與譯碼規(guī)則    7.1.3 譯碼錯誤概率  7.2 最佳判決與譯碼準則    7.2.1 最大后驗概率準則    7.2.2 最大似然準則  7.3 信道編碼與最佳譯碼    7.3.1 線性分組碼    7.3.2 序列最大似然譯碼    7.3.3 幾種簡單的分組碼  7.4 費諾（Fano）不等式    7.4.1 信道疑義度    7.4.2 費諾（Fano）不等式  7.5 有噪信道編碼定理    7.5.1 聯(lián)合典型序列    7.5.2 有噪信道編碼定理    7.5.3 無失真信源信道編碼定理  7.6 糾錯編碼技術簡介    7.6.1 線性分組碼的編譯碼    7.6.2 幾種重要的分組碼    7.6.3 卷積碼簡介 *7.7 信道編碼性能界限    7.7.1 漢明球包界    7.7.2 Varsharmov-Gilberlt界    7.7.3 P1otkin界  本章小結(jié)  思考題  習題第8章 波形信道  8.1 離散時間連續(xù)信道    8.1.1 時間離散連續(xù)信道模型    8.1.2 平穩(wěn)無記憶連續(xù)信道    8.1.3 多維矢量連續(xù)信道的性質(zhì)    8.1.4 離散時間連續(xù)信道的容量  8.2 加性噪聲信道與容量    8.2.1 加性噪聲信道的容量    8.2.2 加性高斯噪聲信道的容量    8.2.3 般加性噪聲信道容量界    8.2.4 并聯(lián)加性高斯噪聲信道的容量  8.3 AWGN信道的容量    8.3.1 加性高斯噪聲波形信道    8.3.2 波形信道的互信息與容量    8.3.3 AWGN信道的容量    8.3.4 高斯噪聲信道編碼定理    8.3.5 功率利用率和頻譜利用率的關系  8.4 有色高斯噪聲信道    8.4.1 有色高斯噪聲信道容量    8.4.2 AWGN信道容量的進一步討論 *8.5 數(shù)字調(diào)制系統(tǒng)的信道容量  本章小結(jié)  思考題  習題第9章 信息率失真函數(shù)  9.1 概述    9.1.1 系統(tǒng)模型    9.1.2 失真測度  9.2 離散信源信息率失真函數(shù)    9.2.1 信息率失真函數(shù)    9.2.2 R（D）函數(shù)的性質(zhì)  9.3 限失真信源編碼定理    9.3.1 碼率的壓縮    9.3.2 限失真信源編碼定理    9.3.3 限失真信源信道編碼定理  9.4 離散信源信息率失真函數(shù)的計算    9.4.1 R（D）參量表示法求解    9.4.2 R（D）求解過程歸納    9.4.3 參量s的意義  9.5 連續(xù)信源信息率失真函數(shù)    9.5.1 信息率失真函數(shù)與性質(zhì)    9.5.2  R（D）函數(shù)的計算    9.5.3 差值失真測度  9.6 高斯信源的R（D）函數(shù)    9.6.1 離散時間無記憶高斯信源    9.6.2 獨立并聯(lián)高斯信源  9.7 一般連續(xù)信源R（D）函數(shù) *9.8 有損數(shù)據(jù)壓縮技術簡介    9.8.1 量化    9.8.2 預測編碼    9.8.3 子帶編碼    9.8.4 變換編碼  本章小結(jié)  思考題  習題第10章 有約束信道及其編碼  10.1 標號圖的性質(zhì)    10.1.1 標號圖的基本概念    10.1.2 標號圖的變換  10.2 有約束信道容量    10.2.1 有約束信道容量的定義    10.2.2 等時長符號有約束信道的容量    10.2.3 不等時長符號無約束信道的容量    10.2.4 不等時長符號有約束信道的容量  10.3 有約束序列的性質(zhì)    10.3.1 信道對傳輸序列的約束    10.3.2 游程長度受限序列（RLL）    10.3.3 部分響應最大似然（PRML）序列    10.3.4 直流平衡序列    10.3.5 其他頻域受限序列  10.4 有約束信道編碼定理    10.4.1 編碼器的描述    10.4.2 有約束信道編碼定理    10.4.3 有限狀態(tài)編碼定理    10.4.4 編碼器性能指標 *10.5 有約束序列編碼與應用    10.5.1 塊編碼器    10.5.2 實用直流平衡序列    10.5.3 常用有約束序列編碼及應用  本章小結(jié)  思考題  習題第11章 網(wǎng)絡信息論初步  11.1 概述  11.2 多址接人信道    11.2.1 二址接入信道的容量    11.2.2 不同多址方式下的接入信道容量分析    11.2.3 多址接入信道的容量  11.3 廣播信道    11.3.1 退化廣播信道    11.3.2 退化廣播信道的容量區(qū)域  11.4 相關信源編碼    11.4.1 典型的相關信源編碼模型    11.4.2 S1epiarr—Wolf相關信源編碼定理  本章小結(jié)  思考題  習題*第12章 信息理論方法及其應用  12.1 信源熵的估計    12.1.1 離散信源序列熵的估計    12.1.2 連續(xù)信源熵的估計  12.2 最大熵原理    12.2.1 最大熵原理的描述    12.2.2 熵集中定理    12.2.3 幾種重要的最大熵分布  12.3 最小交叉熵原理    12.3.1 最小交叉熵原理    12.3.2 交叉熵的性質(zhì)    12.3.3 最小交叉熵推斷的性質(zhì)    12.3.4 交叉熵法  12.4 信息理論方法的應用    12.4.1 DNA序列的熵估計和壓縮    12.4.2 最大熵譜估計和最小交叉熵譜估計    12.4.3 最大熵建模及其在自然語言處理中的應用    12.4.4 最大熵原理在經(jīng)濟學中的應用    12.4.5 信息理論方法應用展望  本章小結(jié)  思考題  習題參考文獻

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    信息論基礎 PDF格式下載

---