信息論簡明教程

前言

　　信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。目前各級各類高等院校電子、信息、通信和計算機及其相關(guān)專業(yè)的本科生、研究生都開有信息論這門專業(yè)基礎(chǔ)課?！　‰S著高等教育的發(fā)展，許多依托重點高等院校舉辦的獨立學(xué)院也紛紛開設(shè)了信息論這門課程。獨立學(xué)院的教學(xué)與研究型重點大學(xué)存在很多不同，例如在培養(yǎng)目標方面，獨立學(xué)院更加側(cè)重于應(yīng)用；在生源方面，獨立學(xué)院學(xué)生的基礎(chǔ)普遍比較薄弱，尤其是數(shù)學(xué)基礎(chǔ)不太牢固。正是基于這些不同，作者在多年教學(xué)和科研實踐的基礎(chǔ)上，同時參考借鑒了眾多國內(nèi)外優(yōu)秀的信息論教材及參考書后，撰寫了這本專門為應(yīng)用型本科生使用的教材?！　♂槍Ρ緯饕嫦蜃x者的特點，本書僅納入了信息論中的核心內(nèi)容和基礎(chǔ)內(nèi)容，對于比較艱深的概念和數(shù)學(xué)證明都做了適當(dāng)舍棄，對各章的習(xí)題都給出了詳細的解答，力爭在降低難度的同時，使學(xué)生在閱讀本書后能對信息論的基本概念和理論有清晰的理解。基于本書入門門檻低、內(nèi)容刪繁就簡、習(xí)題解答詳細等特點，本書也可供自考生、成教生和廣大自學(xué)愛好者自學(xué)?！　”緯譃檎暮透戒泝蓚€部分。正文分為7章，第1章緒論介紹香農(nóng)信息論的研究對象、目的、內(nèi)容和發(fā)展史等；第2章對信息論需要用到的數(shù)學(xué)基礎(chǔ)作了簡單的回顧，基礎(chǔ)較薄弱的讀者應(yīng)詳細閱讀本章；第3章介紹關(guān)于信息度量的幾個重要概念：自信息、平均自信息和熵、聯(lián)合熵、條件熵、互信息與平均互信息以及熵的鏈規(guī)則等基本概念，這是信息論的基礎(chǔ)知識；第4章研究信源熵的問題，包括離散單符號信、離散多符號信源和連續(xù)信源，其中離散多符號信源是本章的重點和難點；第5章研究信道容量的問題，包括離散單符號信道、離散多符號信道、組合信道和連續(xù)信道等，其中關(guān)于信道容量的計算方法是本章的重點和難點；第6章介紹了信源編碼的概念、分類和無失真信源編碼，其中信源編碼定理的理解是本章的難點，霍夫曼編碼是本章的重點；第7章簡單介紹了信道編碼的概念、有噪信道編碼定理及其逆定理以及若干種信道編碼方法。

內(nèi)容概要

本書是專為應(yīng)用型高等院校電子信息類專業(yè)本科生撰寫的一本教材?？紤]到讀者的實際情況，本書選取了信息論中的核心內(nèi)容和基礎(chǔ)內(nèi)容作為講述的重點，對于信息論中比較艱深的概念和數(shù)學(xué)推導(dǎo)做了適當(dāng)?shù)膭h減。全書分為正文和附錄兩個部分。正文分為7章，內(nèi)容包括：數(shù)學(xué)基礎(chǔ)回顧、信息的度量、信源與信源熵、信道與信道容量、信源編碼初步、信道編碼初步等；附錄分為5個部分，附錄A給出了各章習(xí)題的詳細解答，附錄B～E給出了若干定理的證明以及部分算法的源程序。與同類信息論書籍相比，本書閱讀門檻較低，習(xí)題解答詳細，可供獨立學(xué)院學(xué)生、自考生、成教生和廣大自學(xué)愛好者使用。

書籍目錄

第1章 緒論  1.1 信息的概念及香農(nóng)信息論的發(fā)展史  1.2 香農(nóng)信息論的研究對象、目的和內(nèi)容  1.3 信息論的發(fā)展  1.4 如何學(xué)好信息論第2章 數(shù)學(xué)基礎(chǔ)回顧  2.1 離散概率論    2.1.1 隨機事件的概率    2.1.2 條件概率、全概率公式與貝葉斯公式    2.1.3 離散型隨機變量及其分布    2.1.4 二維離散型隨機變量的聯(lián)合分布、邊緣分布和條件分布    2.1.5 離散型隨機變量函數(shù)的分布    2.1.6 離散型隨機變量的數(shù)字特征  2.2 隨機過程初步    2.2.1 隨機過程與隨機序列    2.2.2 馬爾可夫鏈第3章 信息的度量  3.1 自信息、平均自信息和熵    3.1.1 單個隨機事件的自信息    3.1.2 單個隨機事件集合的平均自信息(隨機變量的信息熵)    3.1.3 熵函數(shù)的性質(zhì)  3.2 聯(lián)合熵與條件熵    3.2.1 兩個隨機事件的聯(lián)合自信息    3.2.2 兩個隨機事件集合(二維隨機變量)的聯(lián)合熵    3.2.3 兩個隨機事件的條件自信息    3.2.4 兩個隨機事件集合(二維隨機變量)的條件熵  3.3 互信息與平均互信息    3.3.1 兩個隨機事件的互信息    3.3.2 兩個隨機事件集合(二維隨機變量)的平均互信息    3.3.3 平均互信息的性質(zhì)  3.4 平均自信息、聯(lián)合熵、條件熵和平均互信息的數(shù)量關(guān)系    3.4.1 數(shù)量關(guān)系總結(jié)    3.4.2 數(shù)量關(guān)系的證明    3.4.3 熵的鏈規(guī)則  3.5 本章小結(jié)  習(xí)題3第4章 信源與信源熵  4.1 信源的分類及其數(shù)學(xué)模型  4.2 離散單符號信源  4.3 離散多符號信源    4.3.1 離散平穩(wěn)無記憶信源    4.3.2 離散平穩(wěn)有記憶信源    4.3.3 馬爾可夫信源    4.3.4 信源的相關(guān)性和剩余度  4.4 連續(xù)信源簡介  4.5 本章小結(jié)  習(xí)題4第5章 信道與信道容量  5.1 信道的分類與描述    5.1.1 信道的分類    5.1.2 信道描述  5.2 離散單符號信道及其信道容量    5.2.1 離散單符號信道的數(shù)學(xué)模型    5.2.2 信道容量的概念    5.2.3 無損信道和無噪信道的信道容量    5.2.4 離散對稱信道的信道容量    5.2.5 一般離散信道的信道容量與信道容量定理  5.3 離散多符號信道及其信道容量    5.3.1 離散多符號無記憶信道的數(shù)學(xué)模型    5.3.2 離散多符號無記憶信道的信道容量  5.4 組合信道及其信道容量    5.4.1 獨立并聯(lián)信道    5.4.2 串聯(lián)信道  5.5 連續(xù)信道及其信道容量介紹  5.6 本章小結(jié)  習(xí)題5第6章 信源編碼初步  6.1 信源編碼的概念與分類  ……第7章 信道編碼初步附錄參考文獻

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    信息論簡明教程 PDF格式下載

---