信息理論基礎(chǔ)

前言

信息理論是應(yīng)用十分廣泛的基礎(chǔ)學(xué)科。它隨著通訊技術(shù)的發(fā)展而成熟起來，其影響幾乎遍及所有的應(yīng)用領(lǐng)域。本書著重介紹信息理論的基本概念和基本方法，如有關(guān)信息及其度量，信源及其編碼，信道及其編碼的基本概念和基本理論。其次，作為應(yīng)用例子，介紹了數(shù)據(jù)的傳輸碼、壓縮碼、檢錯及糾錯碼，多端信息網(wǎng)絡(luò)，估計(jì)理論，試驗(yàn)假設(shè)及條形碼等專題。本書可作高等院校的信息理論基礎(chǔ)課程的教材或參考書，也可供在各種應(yīng)用領(lǐng)域中對信息理論感興趣的工程技術(shù)人員參考。常迥老師曾多次為研究生講授信息理論基礎(chǔ)課程。他深深情得信息理論基礎(chǔ)對很多系的工科大學(xué)生與研究生來說起著多么重要的作用，很久以來，就希望在總結(jié)多年講課經(jīng)驗(yàn)的基礎(chǔ)上，編寫一本關(guān)于信息理論基礎(chǔ)的書，以幫助更多的學(xué)生掌握這門學(xué)科的基本內(nèi)容。但是，由于平時工作繁忙，這一愿望一直未能實(shí)現(xiàn)。直到1988年，他因患腦血栓而不能自由行走以后，這本書才得以動手編寫。為了寫好這本書，他在自編講義的基礎(chǔ)上，收集了國外最新的資料，一邊翻譯，一邊編寫。在兩年多時間里，當(dāng)我去他家時，常?？煽吹剿麚]汗工作的動人情景。常老師雖然是在病中，但在常師母的精心照料下，這項(xiàng)工作一直在緊張地進(jìn)行，完成這本書的編寫是他在病中的一大愿望，也是表達(dá)他對常師母的發(fā)自內(nèi)心的感激。經(jīng)過持續(xù)的努力，又得到清華大學(xué)出版社蔡鴻程同志和王性仁同志的幫助，進(jìn)行校對，謄寫，終于在l991年中完成了這本書的初稿。當(dāng)他正準(zhǔn)備對初稿進(jìn)行修改時，不幸因突發(fā)心臟病而去世。這本書成了他最后的一部著作。為了實(shí)現(xiàn)常老師出版這本書的遺愿，受常師母的委托。信息理論是一門理論性很強(qiáng)、應(yīng)用很廣泛、有幾十年發(fā)展歷史的科學(xué)技術(shù)。l984年我為研究生開設(shè)了“信息理論基礎(chǔ)”課，講的內(nèi)容僅限于最基本的概念和方法。從此每年講授一次，前后共講授了五遍。在此期間，與同學(xué)們相互切磋，得到不少啟發(fā)；又閱讀了不少資料。使我對信息理論有了一點(diǎn)認(rèn)識。但由于缺乏這方面的實(shí)際科研工作，所以理解得不夠深入，還有不少問題未能理解。但我有一種想法，即信息理論的基本概念和基本方法的確是非常重要的。不是還有不少人到現(xiàn)在仍分不清什么是信息、什么是消息、什么是信源、什么是信道，也不清楚為什么要編碼、為什么要抽樣。由于缺乏準(zhǔn)確的科學(xué)的論斷，往往產(chǎn)生錯誤，也就不可能有創(chuàng)新和發(fā)展。這樣很容易對信息論產(chǎn)生神秘感和深奧感，缺乏實(shí)踐的勇氣，這就影響信息理論的應(yīng)用和推廣。其實(shí)，信息理論和控制理論、系統(tǒng)理論相似，都是最基礎(chǔ)的科學(xué)技術(shù)理論。我認(rèn)為只要不斷思考，努力掌握住它的基本概念、基本特性和基本方法就能夠在不斷的實(shí)踐中逐漸懂得其中的奧妙了。我一商想在我講課的基礎(chǔ)上，總結(jié)幾年來的體會，寫一本基礎(chǔ)性的信息理論教科書，苦于無足夠時間做這項(xiàng)工作。在公務(wù)煩忙之際，我不幸于1987年12月18日突患腦血栓癥，致使左半身不遂。幸而右半身和思維能力未受影響，后漸漸康復(fù)，每天能工作二、三小時。于是開始動筆寫這本《信息理論基礎(chǔ)》，大約用了一年時間，寫成初稿。因在病中寫作，不免粗糙，很可能有不少錯誤，則待以后修正和加工了。由于全書內(nèi)容較多，故分為基礎(chǔ)與專題兩大部分。我的意見是：在教學(xué)中，只講授基礎(chǔ)部分就可以了；專題部分在需要時，可作為參考內(nèi)容，不必列為講授內(nèi)容。

內(nèi)容概要

　　《信息理論基礎(chǔ)》著重介紹信息理論的基本概念和基本方法，如有關(guān)信息及其度量，信源及其編碼，信道及其編碼的基本概念和基本理論。其次，作為應(yīng)用例子，介紹了數(shù)據(jù)的傳輸碼、壓縮碼、檢錯及糾錯碼，多端信息網(wǎng)絡(luò)，估計(jì)理論，試驗(yàn)假設(shè)及條形碼等專題?！　　缎畔⒗碚摶A(chǔ)》可作高等院校的信息理論基礎(chǔ)課程的教材或參考書，也可供在各種應(yīng)用領(lǐng)域中對信息理論感興趣的工程技術(shù)人員參考。

作者簡介

常迵，（1917.2.4-1991.8.8），字季高，祖籍河北省房山縣（現(xiàn)屬北京市）。電子學(xué)家、教育家，中國科學(xué)院院士。在無線電技術(shù)領(lǐng)域，從事電子線路、天線理論和發(fā)送技術(shù)的研究，對折疊天線的廣泛應(yīng)用起了推動作用。

書籍目錄

前言第一章 概論1.1 信息理論的基本內(nèi)容1.2 信息理論的發(fā)展簡史1.3 控制論、信息論與系統(tǒng)論1.4 信息理論的應(yīng)用1.5 本書的結(jié)構(gòu)第二章 有關(guān)信息的基本概念與問題2.1 引言2.2 自信息與熵2.3 互信息2.4 多系統(tǒng)2.5 凸性定理2.6 唯一性定理2.7 馬科夫過程與馬科夫熵2.8 熱熵與信息熵第三章 信源及其編碼的一些基本概念和理論3.1 引言3.2 自然語言和文字作為信源3.3 信源熵3.4 信源編碼3.5 無記憶信源3.6 定長碼3.7 變長碼3.8 碼字的平均長度3.9 最優(yōu)編碼3.10 記憶信源3.11 平穩(wěn)信源3.12 遍歷性信源第四章 信道及其編碼的一些基本概念和基本理論4.1 引言4.2 信道理論1.3 信道編碼4.4 信道容量4.5 通信系統(tǒng)4.6 無記憶信道容量4.7 凸性4.8 信道容量方程的解4.9 唯一性4.10 傳輸特性4.1l 仙農(nóng)定理4.12 級聯(lián)信道4.13 無限級聯(lián)問題4.14 并聯(lián)信道附錄習(xí)題第五章 連續(xù)信源與連續(xù)信道5.1 連續(xù)隨機(jī)變量的熵5.2 連續(xù)信源與連續(xù)信道5.3 連續(xù)隨機(jī)變量的微熵5.4 高斯信號的信息度量5.5 無記憶的高斯信道和高斯信源5.6 有記憶的高斯信道和信源5.7 抽樣定理5.8 高斯波形信道與信源5.9 比特能量與比特誤差率5.10 具有頻帶限制的信號5.11 無頻帶制約的信號5.12 熵功率不等式5.13 中心極限定理習(xí)題第六章 有關(guān)編碼的一些基本概念6.1 引言6.2 變長碼6.3 變長碼定理6.4 克拉夫特定理6.5 最優(yōu)碼6.6 檢錯碼6.7 糾錯碼6.8 漢明碼6.9 加權(quán)碼第七章 數(shù)據(jù)傳輸碼7.1 引言7.2 離散含噪信道7.3 距離與分量的表示方法7.4 互信息函數(shù)7.5 數(shù)據(jù)傳輸?shù)膲K碼習(xí)題第八章 數(shù)據(jù)譯碼與緊縮碼8.1 數(shù)據(jù)譯碼8.2 數(shù)據(jù)緊縮碼8.3 離散信源的信息容量8.4 熵函數(shù)8.5 為數(shù)據(jù)緊縮的前束碼習(xí)題第九章 數(shù)據(jù)壓縮碼9.1 引言9.2 大于信道容量的傳輸速率9.3 信息的壓縮9.4 壓縮數(shù)據(jù)的信息容量9.5 信息傳輸定理習(xí)題第十章 試驗(yàn)假設(shè)10.1 引言10.2 內(nèi)曼一皮爾遜定理10.3 諾思濾波器10.4 判別函數(shù)10.5 在性能上的初步極限10.6 在性能上的漸近界限10.7 誤差一指數(shù)函數(shù)10,8 逆定理10.9 切爾諾夫界限習(xí)題第十一章 估計(jì)理論11.1 引言11.2 參數(shù)的估計(jì)11.3 費(fèi)希爾（Fisher）信息矩陣11.4 多重并行估計(jì)11.5 脈沖到達(dá)時間的估計(jì)11.6 脈沖到達(dá)頻率的估計(jì)11.7 推理原理11.8 譜估計(jì)習(xí)題第十二章多端信息網(wǎng)絡(luò)12.1 引言l2.2 反饋信道12.3 多用戶信道12.4 廣播信道12.5 雙向信道12.6 相關(guān)數(shù)據(jù)的遠(yuǎn)程緊縮12.7 具有旁信息的數(shù)據(jù)緊縮l2.8 具有旁信息的數(shù)據(jù)壓縮12.9 分布系統(tǒng)的數(shù)據(jù)壓縮第十三章 檢錯碼與糾錯碼13.1 引言13.2 定長碼與變長碼13.3 最優(yōu)碼13.4 糾錯碼13.5 線性誤差糾錯碼——二進(jìn)對稱信道13.6 卷積編碼器13.7 狀態(tài)圖與梯形圖13.8 最大相似解碼與Viterbi算法第十四章 信息率失真理論14.1 引言14.2 根據(jù)真實(shí)度準(zhǔn)則的信源編碼14.3 信息率失真函數(shù)及其特性14.4 信息率失真理論的基本定理14.5 逆定理習(xí)題第十五章 條形碼15.1 引言15.2 通用生產(chǎn)碼符號的特性與可解碼性15.3 條形碼的可靠性附錄A 凸函數(shù)的最小化附錄B K-L展開式附錄C 2Toeplitz分布定理后記

章節(jié)摘錄

插圖：

后記

常迥老師曾多次為研究生講授信息理論基礎(chǔ)課程。他深深懂得信息理論基礎(chǔ)對很多系的工科大學(xué)生與研究生來說起著多么重要的作用，很久以來，就希望在總結(jié)多年講課經(jīng)驗(yàn)的基礎(chǔ)上，編寫一本關(guān)于信息理論基礎(chǔ)的書，以幫助更多的學(xué)生掌握這門學(xué)科的基本內(nèi)容。但是，由于平時工作繁忙，這一愿望一直未能實(shí)現(xiàn)。直到1988年，他因息腦血栓而不能自由行走以后，這本書才得以動手編寫。為了寫好這本書，他在自編講義的基礎(chǔ)上，收集了國外最新的資料，一邊翻譯，一邊編寫。在兩年多時間里，當(dāng)我去他家時，常?？煽吹剿麚]汗工作的動人情景。常老師雖然是在病中，但在常師母的精心照料下，這項(xiàng)工作一直在緊張地進(jìn)行，完成這本書的編寫是他在病中的一大愿望，也是表達(dá)他對常師母的發(fā)自內(nèi)心的感激。經(jīng)過持續(xù)的努力，又得到清華大學(xué)出版弛蔡鴻程同志和王性仁同志的幫助，進(jìn)行校對，謄寫，終于在1991年中完成了這本書的初稿。當(dāng)他正準(zhǔn)備對初稿進(jìn)行修改時，不幸因突發(fā)心臟病而去世。這本書成了他最后的一部著作。為了實(shí)現(xiàn)常老師出版這本書的遺愿．受常師母的委托，我于l991年10月開始對初稿進(jìn)行校對、修改工作，以供出版。這本書稿的體系以及基本內(nèi)容的取舍是常老師積多年經(jīng)驗(yàn)而精心擬定的，書中的具體材料則有相當(dāng)一部分取自幾本近年出版的參考書，主要有：Principies and Practtce of Info-rmation Theory，Richard E．Blahut，Addison．Wesley Publishing Company，1987：Elementary Information Theory．D．S．Jones，Clarendon Press，Oxford，1979和信息論【日】，喜安善市，室賀三郎著，李文清譯，上?？茖W(xué)技術(shù)出版社．1982等。我的工作，除了校對以外，對少數(shù)部分進(jìn)行了一些增刪，對個別部分則重新組織以使前后連貫和減少內(nèi)容上的重復(fù)。

編輯推薦

《信息理論基礎(chǔ)》由清華大學(xué)出版社出版。

圖書封面

評論、評分、閱讀與下載

---

    信息理論基礎(chǔ) PDF格式下載

---