信息論簡(jiǎn)明教程

前言

　　信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。目前各級(jí)各類高等院校電子、信息、通信和計(jì)算機(jī)及其相關(guān)專業(yè)的本科生、研究生都開有信息論這門專業(yè)基礎(chǔ)課?！　‰S著高等教育的發(fā)展，許多依托重點(diǎn)高等院校舉辦的獨(dú)立學(xué)院也紛紛開設(shè)了信息論這門課程。獨(dú)立學(xué)院的教學(xué)與研究型重點(diǎn)大學(xué)存在很多不同，例如在培養(yǎng)目標(biāo)方面，獨(dú)立學(xué)院更加側(cè)重于應(yīng)用；在生源方面，獨(dú)立學(xué)院學(xué)生的基礎(chǔ)普遍比較薄弱，尤其是數(shù)學(xué)基礎(chǔ)不太牢固。正是基于這些不同，作者在多年教學(xué)和科研實(shí)踐的基礎(chǔ)上，同時(shí)參考借鑒了眾多國(guó)內(nèi)外優(yōu)秀的信息論教材及參考書后，撰寫了這本專門為應(yīng)用型本科生使用的教材。　　針對(duì)本書主要面向讀者的特點(diǎn)，本書僅納入了信息論中的核心內(nèi)容和基礎(chǔ)內(nèi)容，對(duì)于比較艱深的概念和數(shù)學(xué)證明都做了適當(dāng)舍棄，對(duì)各章的習(xí)題都給出了詳細(xì)的解答，力爭(zhēng)在降低難度的同時(shí)，使學(xué)生在閱讀本書后能對(duì)信息論的基本概念和理論有清晰的理解?；诒緯腴T門檻低、內(nèi)容刪繁就簡(jiǎn)、習(xí)題解答詳細(xì)等特點(diǎn)，本書也可供自考生、成教生和廣大自學(xué)愛好者自學(xué)?！　”緯譃檎暮透戒泝蓚€(gè)部分。正文分為7章，第1章緒論介紹香農(nóng)信息論的研究對(duì)象、目的、內(nèi)容和發(fā)展史等；第2章對(duì)信息論需要用到的數(shù)學(xué)基礎(chǔ)作了簡(jiǎn)單的回顧，基礎(chǔ)較薄弱的讀者應(yīng)詳細(xì)閱讀本章；第3章介紹關(guān)于信息度量的幾個(gè)重要概念：自信息、平均自信息和熵、聯(lián)合熵、條件熵、互信息與平均互信息以及熵的鏈規(guī)則等基本概念，這是信息論的基礎(chǔ)知識(shí)；第4章研究信源熵的問題，包括離散單符號(hào)信、離散多符號(hào)信源和連續(xù)信源，其中離散多符號(hào)信源是本章的重點(diǎn)和難點(diǎn)；第5章研究信道容量的問題，包括離散單符號(hào)信道、離散多符號(hào)信道、組合信道和連續(xù)信道等，其中關(guān)于信道容量的計(jì)算方法是本章的重點(diǎn)和難點(diǎn)；第6章介紹了信源編碼的概念、分類和無失真信源編碼，其中信源編碼定理的理解是本章的難點(diǎn)，霍夫曼編碼是本章的重點(diǎn)；第7章簡(jiǎn)單介紹了信道編碼的概念、有噪信道編碼定理及其逆定理以及若干種信道編碼方法。

內(nèi)容概要

本書是專為應(yīng)用型高等院校電子信息類專業(yè)本科生撰寫的一本教材。考慮到讀者的實(shí)際情況，本書選取了信息論中的核心內(nèi)容和基礎(chǔ)內(nèi)容作為講述的重點(diǎn)，對(duì)于信息論中比較艱深的概念和數(shù)學(xué)推導(dǎo)做了適當(dāng)?shù)膭h減。全書分為正文和附錄兩個(gè)部分。正文分為7章，內(nèi)容包括：數(shù)學(xué)基礎(chǔ)回顧、信息的度量、信源與信源熵、信道與信道容量、信源編碼初步、信道編碼初步等；附錄分為5個(gè)部分，附錄A給出了各章習(xí)題的詳細(xì)解答，附錄B～E給出了若干定理的證明以及部分算法的源程序。與同類信息論書籍相比，本書閱讀門檻較低，習(xí)題解答詳細(xì)，可供獨(dú)立學(xué)院學(xué)生、自考生、成教生和廣大自學(xué)愛好者使用。

書籍目錄

第1章 緒論  1.1 信息的概念及香農(nóng)信息論的發(fā)展史  1.2 香農(nóng)信息論的研究對(duì)象、目的和內(nèi)容  1.3 信息論的發(fā)展  1.4 如何學(xué)好信息論第2章 數(shù)學(xué)基礎(chǔ)回顧  2.1 離散概率論    2.1.1 隨機(jī)事件的概率    2.1.2 條件概率、全概率公式與貝葉斯公式    2.1.3 離散型隨機(jī)變量及其分布    2.1.4 二維離散型隨機(jī)變量的聯(lián)合分布、邊緣分布和條件分布    2.1.5 離散型隨機(jī)變量函數(shù)的分布    2.1.6 離散型隨機(jī)變量的數(shù)字特征  2.2 隨機(jī)過程初步    2.2.1 隨機(jī)過程與隨機(jī)序列    2.2.2 馬爾可夫鏈第3章 信息的度量  3.1 自信息、平均自信息和熵    3.1.1 單個(gè)隨機(jī)事件的自信息    3.1.2 單個(gè)隨機(jī)事件集合的平均自信息(隨機(jī)變量的信息熵)    3.1.3 熵函數(shù)的性質(zhì)  3.2 聯(lián)合熵與條件熵    3.2.1 兩個(gè)隨機(jī)事件的聯(lián)合自信息    3.2.2 兩個(gè)隨機(jī)事件集合(二維隨機(jī)變量)的聯(lián)合熵    3.2.3 兩個(gè)隨機(jī)事件的條件自信息    3.2.4 兩個(gè)隨機(jī)事件集合(二維隨機(jī)變量)的條件熵  3.3 互信息與平均互信息    3.3.1 兩個(gè)隨機(jī)事件的互信息    3.3.2 兩個(gè)隨機(jī)事件集合(二維隨機(jī)變量)的平均互信息    3.3.3 平均互信息的性質(zhì)  3.4 平均自信息、聯(lián)合熵、條件熵和平均互信息的數(shù)量關(guān)系    3.4.1 數(shù)量關(guān)系總結(jié)    3.4.2 數(shù)量關(guān)系的證明    3.4.3 熵的鏈規(guī)則  3.5 本章小結(jié)  習(xí)題3第4章 信源與信源熵  4.1 信源的分類及其數(shù)學(xué)模型  4.2 離散單符號(hào)信源  4.3 離散多符號(hào)信源    4.3.1 離散平穩(wěn)無記憶信源    4.3.2 離散平穩(wěn)有記憶信源    4.3.3 馬爾可夫信源    4.3.4 信源的相關(guān)性和剩余度  4.4 連續(xù)信源簡(jiǎn)介  4.5 本章小結(jié)  習(xí)題4第5章 信道與信道容量  5.1 信道的分類與描述    5.1.1 信道的分類    5.1.2 信道描述  5.2 離散單符號(hào)信道及其信道容量    5.2.1 離散單符號(hào)信道的數(shù)學(xué)模型    5.2.2 信道容量的概念    5.2.3 無損信道和無噪信道的信道容量    5.2.4 離散對(duì)稱信道的信道容量    5.2.5 一般離散信道的信道容量與信道容量定理  5.3 離散多符號(hào)信道及其信道容量    5.3.1 離散多符號(hào)無記憶信道的數(shù)學(xué)模型    5.3.2 離散多符號(hào)無記憶信道的信道容量  5.4 組合信道及其信道容量    5.4.1 獨(dú)立并聯(lián)信道    5.4.2 串聯(lián)信道  5.5 連續(xù)信道及其信道容量介紹  5.6 本章小結(jié)  習(xí)題5第6章 信源編碼初步  6.1 信源編碼的概念與分類  ……第7章 信道編碼初步附錄參考文獻(xiàn)

圖書封面

圖書標(biāo)簽Tags

無

評(píng)論、評(píng)分、閱讀與下載

---

    信息論簡(jiǎn)明教程 PDF格式下載

---