信息論基礎(chǔ)

出版時(shí)間:2005-5  出版社:機(jī)械工業(yè)出版社  作者:[美] Thomas M.Cover,Joy A.Thomas  頁數(shù):435  
Tag標(biāo)簽:無  

內(nèi)容概要

  本書介紹信息論及其應(yīng)用,內(nèi)容豐富,涉及信息、統(tǒng)計(jì),計(jì)算機(jī)科學(xué)等領(lǐng)域,系統(tǒng)和全面地介紹了香農(nóng)信息論的基本理論與多類應(yīng)用問題,其中包括作者的許多研究成果。本書包含大量的例題與背景說明,涉及信息處理與信息世界中的許多問題。本書是美國斯坦福大學(xué)、萊斯大學(xué)等使用的信息論教材,是學(xué)習(xí)信息論的主要參考書。  本書全面系統(tǒng)地介紹了香農(nóng)信息論的基本理論以及多類應(yīng)用問題,其中包括了作者的許多研究成果。本書闡述了熵、相對(duì)熵和互信息之間的基本代數(shù)關(guān)系,論述了漸近均分性(AEP)、隨機(jī)過程和數(shù)據(jù)壓縮的熵率、Kolmogorov復(fù)雜度、信道容量定理、微分熵以及網(wǎng)絡(luò)信息理論等內(nèi)容,并采用“使用不等式串、中間不加任何文字、最后直接加以解釋”的創(chuàng)新表述方式,使讀者學(xué)習(xí)了一定數(shù)量的證明后,在沒有任何解釋的情況下就能理解其中的大部分步驟,并給予必要的解釋?! ”緯m合作為通信理論、計(jì)算機(jī)科學(xué)和數(shù)學(xué)等專業(yè)學(xué)生學(xué)習(xí)信息論的教材。章后提供的習(xí)題便于老師的教學(xué),以及增強(qiáng)學(xué)生對(duì)信息論的理解。

作者簡介

  Thomas M.cover是國際著名的信息論教授,1964年獲美國斯坦福大學(xué)電子工程博士學(xué)位,1972年起任美國斯坦福大學(xué)電子工程與數(shù)理統(tǒng)計(jì)學(xué)教授,妝兼任IEEE、AAAS、IMS學(xué)會(huì)特別會(huì)員及多項(xiàng)重要學(xué)會(huì)理事。 Joy A.Thomas,1990年獲美國斯坦福大學(xué)電子工程博士學(xué)位,1984-1985年被授予IEEE Chareles LeGeyt Fortescue Fellowship,1987-1990年被授予IBM Graduate Fellowship。

書籍目錄

譯者序前言第1章 緒論與概覽第2章 熵、相對(duì)熵和互信息2.1 熵2.2 聯(lián)合熵和條件熵2.3 相對(duì)熵和互信息2.4 熵與互信息的關(guān)系2.5 熵、相對(duì)熵和互信息的鏈?zhǔn)椒▌t2.6 Jensen不等式及其結(jié)果2.7 對(duì)數(shù)和不等式及其應(yīng)用2.8 數(shù)據(jù)處理不等式2.9 熱力學(xué)第二定律2.10 充分統(tǒng)計(jì)量2.11 Fano不等式要點(diǎn)習(xí)題歷史回顧第3章 漸近均分性3.1 漸近均分性的定義3.2 AEP的結(jié)果應(yīng)用:數(shù)據(jù)壓縮3.3 高概率集與典型集要點(diǎn)習(xí)題歷史回顧第4章 隨機(jī)過程的熵率4.1 馬爾可夫鏈4.2 熵率4.3 例子:加權(quán)圖上隨機(jī)游動(dòng)的熵率4.4 隱馬爾可夫模型要點(diǎn)習(xí)題歷史回顧第5章 數(shù)據(jù)壓縮5.1 有關(guān)編碼的例子5.2 Kraft不等式5.3 最優(yōu)碼5.4 最優(yōu)碼長的界5.5 惟一可譯碼的Kraft不等式5.6 赫夫曼碼5.7 有關(guān)赫夫曼碼的評(píng)論5.8 赫夫曼碼的最優(yōu)性5.9 Shannon-Fano-Elias編碼5.10 算術(shù)編碼5.11 香農(nóng)碼的競(jìng)爭(zhēng)最優(yōu)性5.12 由均勻硬幣投擲生成離散分布要點(diǎn)習(xí)題歷史回顧第6章 博弈與數(shù)據(jù)壓縮6.1 馬賽6.2 博弈與邊信息6.3 相依的馬賽及其熵率6.4 英文的熵6.5 數(shù)據(jù)壓縮與博弈6.6 英文的熵的博弈估計(jì)要點(diǎn)習(xí)題歷史回顧第7章 Kolmogorov復(fù)雜度7.1 計(jì)算模型7.2 Kolmogorov復(fù)雜度:定義和例子7.3 Kolmogorov復(fù)雜度與熵7.4 整數(shù)的Kolmogorov復(fù)雜度7.5 算法隨機(jī)序列與不可壓縮序列7.6 普適概率7.7 停止問題和Kolmogorov復(fù)雜度的不可計(jì)算性7.8 Ω7.9 普適投注策略7.10 奧克姆剃刀7.11 Kolmogorov復(fù)雜度與普適概率7.12 Kolmogorov充分統(tǒng)計(jì)量要點(diǎn)習(xí)題歷史回顧第8章 信道容量8.1 信道容量的例子8.2 對(duì)稱信道8.3 信道容量的性質(zhì)8.4 信道編碼定理預(yù)覽8.5 定義8.6 聯(lián)合典型序列8.7 信道編碼定理8.8 零誤差碼8.9 Fano不等式與編碼定理的逆定理8.10 信道編碼定理的逆定理中的等式8.11 漢明碼8.12 反饋容量8.13 聯(lián)合信源信道編碼定理要點(diǎn)習(xí)題歷史回顧第9章 微分熵9.1 定義9.2 連續(xù)隨機(jī)變量的AEP9.3 微分熵與離散熵的關(guān)系9.4 聯(lián)合微分熵和條件微分熵9.5 相對(duì)熵和互信息9.6 微分熵、相對(duì)熵以及互信息的性質(zhì)9.7 離散熵的微分熵界要點(diǎn)習(xí)題歷史回顧第10章 高斯信道10.1 高斯信道的定義10.2 高斯信道編碼定理的逆定理10.3 有限帶寬信道10.4 并聯(lián)高斯信道10.5 彩色高斯噪聲信道10.6 帶反饋的高斯信道要點(diǎn)習(xí)題歷史回顧第11章 最大熵與譜估計(jì)11.1 最大熵分布11.2 例子11.3 反常的最大熵問題11.4 譜估計(jì)11.5 高斯過程的熵率11.6 Burg最大熵定理要點(diǎn)習(xí)題歷史回顧第12章 信息論與統(tǒng)計(jì)學(xué)12.1 型方法12.2 大數(shù)定律12.3 通用信源編碼12.4 大偏差理論12.5 Sanov定理的例子12.6 條件極限定理12.7 假設(shè)檢驗(yàn)12.8 Stein引理12.9 Chernoff界12.10 Lempel-Ziv編碼12.11 Fisher信息與Cram巖-Rao不等式要點(diǎn)習(xí)題歷史回顧第13章 率失真理論13.1 量化13.2 定義13.3 率失真函數(shù)的計(jì)算13.4 率失真定理的逆定理13.5 率失真函數(shù)的可達(dá)性13.6 強(qiáng)典型序列與率失真13.7 率失真函數(shù)的特征13.8 信道容量與率失真函數(shù)的計(jì)算要點(diǎn)習(xí)題歷史回顧第14章 網(wǎng)絡(luò)信息論14.1 高斯多用戶信道14.2 聯(lián)合典型序列14.3 多接入信道14.4 相關(guān)信源的編碼14.5 Slepian-Wolf編碼與多接入信道之間的對(duì)偶性14.6 廣播信道14.7 中繼信道14.8 具有邊信息的信源編碼14.9 具有邊信息的率失真14.10 一般多端網(wǎng)絡(luò)要點(diǎn)習(xí)題歷史回顧第15章 信息論與股票市場(chǎng)15.1 股票市場(chǎng):定義15.2 對(duì)數(shù)最優(yōu)投資組合的Kuhn-Tucker特征15.3 對(duì)數(shù)最優(yōu)投資組合的漸近最優(yōu)性15.4 邊信息與雙倍率15.5 平穩(wěn)市場(chǎng)中的投資15.6 對(duì)數(shù)最優(yōu)投資組合的競(jìng)爭(zhēng)最優(yōu)性15.7 Shannon-McMillan-Breiman定理要點(diǎn)習(xí)題歷史回顧第16章 信息論的不等式16.1 信息論的基本不等式16.2 微分熵16.3 熵與相對(duì)熵的界16.4 型的不等式16.5 子集的熵率16.6 熵與Fisher信息16.7 熵冪不等式與Brunn-Minkowski不等式16.8 行列式的不等式16.9 行列式的比值的不等式全書要點(diǎn)習(xí)題歷史回顧參考文獻(xiàn)索引

媒體關(guān)注與評(píng)論

  本書是美國斯坦福大學(xué)、萊斯大學(xué)等使用的信息論教材,是學(xué)習(xí)信息論的主要參考書。  本書特色:  ·包含大量新的素材,如信息論與博弈的關(guān)系;  ·采用典型序列的方法對(duì)編碼理論進(jìn)行描述與證明;  ·采用隨機(jī)碼方法證明信道與有失真信源編碼定理。

圖書封面

圖書標(biāo)簽Tags

評(píng)論、評(píng)分、閱讀與下載


    信息論基礎(chǔ) PDF格式下載


用戶評(píng)論 (總計(jì)30條)

 
 

  •     信息論基礎(chǔ)
      評(píng)分:8.5 權(quán)重8 (課程共耗時(shí)6361,其中本書2339)
      從課程講到典型集之后換用這本書學(xué)信息論部分。目前只自己看了這本書的很小一部分,包括二三五七章的部分。使用了本書之后感覺《信息論與編碼理論》真是本傻逼教材,受不了它了。。這本書總體比信息論與編碼的書好多了,第二章只發(fā)現(xiàn)了一個(gè)錯(cuò)誤。層次分明的排版,簡潔明了的公式、定理及其證明,讓人賞心悅目,在閱讀的時(shí)候有一種美學(xué)享受(不要小看這一點(diǎn),這是非常影響學(xué)習(xí)情緒從而影響學(xué)習(xí)效率的;)。我在學(xué)習(xí)這本書的時(shí)候,常常是剛剛洗澡完,然后一回來就情不自禁如饑似渴的對(duì)著本書一直看,等到一抬頭已經(jīng)12點(diǎn)多,舍友都在催我睡覺了;可以說完全進(jìn)入了一種高度專注的“心流”的學(xué)習(xí)狀態(tài),這不僅要拜我當(dāng)時(shí)的良好狀態(tài)所賜,也與教材有極大關(guān)聯(lián);那些錯(cuò)漏百出的爛書是絕對(duì)不可能如此吸引我并且能提供如此連續(xù)而密集的智力活動(dòng)體驗(yàn)的。本書的每個(gè)章節(jié)的最后還都有專門列舉了本章所有的重要公式定理,簡直是太貼心了。這本書還將每個(gè)知識(shí)點(diǎn)的外延也都包括在書中,列舉了大量的信息論知識(shí)在其他領(lǐng)域如統(tǒng)計(jì)、隨機(jī)過程、博弈論的應(yīng)用(后面章節(jié)還有更多方面的,我還沒看到)。最能說明其效力的莫過于漸進(jìn)均分性這一章,我當(dāng)時(shí)沒有這本教材,聽老師上課講了兩節(jié)課基本什么都沒有聽懂,完全一頭霧水(當(dāng)然,不能完全怪老師,我本來就不是audio learner,上課就當(dāng)是預(yù)習(xí)/復(fù)習(xí),而是明顯的visual learner,課下自己看才是重頭戲),在用短短幾個(gè)小時(shí)看了本書的這一章節(jié)后就豁然開朗,很快就融會(huì)貫通了。這本書的習(xí)題量也非常多,而且有理由相信它們都是很經(jīng)典的,可惜只有很少的部分在網(wǎng)上有英文版的答案。這本書文字和公式都太精要了,以至于我想畫一些重點(diǎn)和做高亮記號(hào)都無從下手,因?yàn)閹缀跛袃?nèi)容都沒有什么廢話,所有內(nèi)容都是信息量很大的重點(diǎn),復(fù)習(xí)的時(shí)候可以直接閱讀。但是這本書似乎有點(diǎn)太精要了,經(jīng)常出現(xiàn)不認(rèn)識(shí)的符號(hào)或者沒有說明清楚的地方,似乎不是面向初學(xué)者的,以至于我有不少地方不太看得懂或者感覺牽扯了太多非課程內(nèi)容。因此,這本書如果在掌握了更高深的知識(shí)后過來復(fù)習(xí),會(huì)有更大的效力,能夠打通并構(gòu)建出更完整龐大的知識(shí)網(wǎng)絡(luò)。我與這本書的緣分必然不會(huì)就此終結(jié),以后必然還會(huì)繼續(xù)復(fù)習(xí)以及學(xué)習(xí)這本書的其他部分,屆時(shí)對(duì)它的理解可能更加深入,本書的評(píng)分也可能會(huì)相應(yīng)的繼續(xù)提高。
      
  •     比起同類書,是相當(dāng)容易懂。但是數(shù)學(xué)的條理邏輯性就不明顯了。具體說來,其他書基本都是直接先把用到的數(shù)學(xué)基礎(chǔ)擺出來,在后面章節(jié)中直接用(如El Gamal & Kim的NETWORK INFORMATION THEORY)。而這本書不是的。
      
      組織結(jié)構(gòu)上可能有些難以把握。僅僅在通信上的應(yīng)用,最起碼包括信道編碼和信源編碼,兩者是對(duì)偶,需要跳來跳去,會(huì)弄的讀者一頭霧水。本書又包括了算法復(fù)雜度,還有股票投資什么的,建議這部分先跳過去。
      
      此書入門,入門后看El Gamal & Kim的書。然后再后頭看這本另有收獲。BTW,本書主要用弱典型,El Gamal & Kim的是強(qiáng)典型。強(qiáng)典型容易點(diǎn)。
  •     剛剛讀完這本書,的確是一本好書,把信息論的主要思想,以及這些思想在包括博弈、金融、數(shù)學(xué)、物理、算法復(fù)雜性等理論的應(yīng)用都講出來了,而且能夠把信息論之中蘊(yùn)含的深刻科學(xué)思想講出來,的確是一本好書。
      但我認(rèn)為,這本書仍然存在以下一些不足之處:
      1、這并不是一本入門級(jí)別的書
      不知道評(píng)價(jià)這本書的其他朋友怎么看,不知道各位都是什么級(jí)別的人士。但是,我作為一名也算是理工科背景出身的高校教師,仍然覺得這本書很難真正讀懂。信息論中有很多艱深的思想以及數(shù)學(xué)證明包含了本書之中,這些證明不花上一定的力氣不可能學(xué)會(huì)。所以,相比較來說,我并不覺得這是一本信息論入門書籍。(相比較來說,入門書籍應(yīng)該更加淺顯一些,而且不要涉及太多的數(shù)學(xué)證明)。
      2、內(nèi)容過于分散,很難讓初學(xué)者抓住主線
      本書的優(yōu)點(diǎn)之一就是將信息論設(shè)計(jì)的很多相關(guān)學(xué)科也介紹的非常清楚,例如金融、博弈、物理、最大熵原理、統(tǒng)計(jì)等等,但是這也恰恰形成了讀者,尤其是初學(xué)者閱讀這本書的障礙。我更不能理解的是,作者似乎按照兩條主線來敘述這些東西。一條主線是比較清晰的傳統(tǒng)信息論和編碼、通信理論,另外一條主線是信息論涉及到的邊邊角角的知識(shí),而且這兩條主線是交錯(cuò)地在各個(gè)章節(jié)呈現(xiàn)的。
      3、翻譯的語言過于學(xué)術(shù)化
      翻譯還是不好,有些語言太死板了,有把簡單的概念復(fù)雜化的趨勢(shì)。
      
      但是,這本書還是有相當(dāng)多的閃光點(diǎn),比如對(duì)Entropy這個(gè)概念的完整介紹,比如Kolmogorov復(fù)雜性理論的介紹。我覺得作者應(yīng)該進(jìn)一步突出Entropy這個(gè)概念,用它貫穿所有的內(nèi)容。
  •     公認(rèn)的
      書中包括的內(nèi)容極其豐富
      并且定理推導(dǎo)都不算復(fù)雜
      可謂是初學(xué)者接觸信息論的最好教材
      再加上是二版
      這個(gè)是標(biāo)準(zhǔn)的美版
      哎
      只可惜俺沒錢買
      長期只能pdf……
  •     感覺挺明白淺顯的,本科的老師用的這本教材,不過她明顯沒有好好備課,講的亂七八糟的,都是自己看的,還不錯(cuò),現(xiàn)在還記得一些印象。
      不過我對(duì)翻譯的書都沒什么好印象,所以還是建議大家去讀英文版的吧。
  •     Cover先生是牛人,IEEE的Fellow。
      
      這本書網(wǎng)上也有英文的電子版。可以試一試直接看英文版。也是不錯(cuò)的。
      講的最后兩章指明了現(xiàn)在和將來信息論可能的研究方向。
  •     雖然概念比較難懂,但如果能找到切入點(diǎn)很容易明白。建議看
      www.googlechinablog.com 的數(shù)學(xué)之美系列文章。
  •   Cover的數(shù)學(xué)條理邏輯很好的啊,由道入術(shù)。
  •   說是入門書的,都是在裝逼,不用介意。
  •   基礎(chǔ)不是入門啊,這個(gè)是專業(yè)基礎(chǔ),外行人不知道什么叫基礎(chǔ)吧,呵呵
  •   我承認(rèn),這本書的不少證明我都是跳過去了的,但是這也似乎是國內(nèi)能找到最好的信息論入門教材了,不然就得去看給學(xué)通信的工科生寫的教材....
    至于貼近普及讀物的一本信息論介紹的書,至今還沒找到
  •   我覺得信息論和概率統(tǒng)計(jì)都需要極深厚的賭博業(yè)背景``
  •   Obviously, information theory is more complex than what they said in the book~
  •   我感覺著本書還是比較基礎(chǔ)的,至少對(duì)于相關(guān)專業(yè)而言。
    其實(shí),熵只是一個(gè)簡單的概念。更為重要的如何去在傳遞過程中盡量降低信息的損失。
    信息論涉及到的數(shù)學(xué)主要是初等概率論,以及一些重要的不等式。
  •   實(shí)話實(shí)說,對(duì)于信息論來說,這還真就是個(gè)入門的書籍。這個(gè)入門不是指得科普讀物,而是在大學(xué)教育過程中,接觸信息論的第一本書籍。而且Cover已經(jīng)在刻意降低理論的深度,把這個(gè)口子開得很寬,沒有說太深?yuàn)W的東西。
    幾項(xiàng)基本的東西像 Jenson 不等式,數(shù)據(jù)處理不等式,F(xiàn)ano不等式,利用typical set 給出的證明,還有就是 random binning 。再深的東西都沒有涉及,像dirty paper coding, Gelfand-Pinsker定理,degraded broadcast channel, interference channel統(tǒng)統(tǒng)都涉獵不深。
    還有,學(xué)習(xí)又不是玩,信息論這樣的東西更是需要大量的腦力勞動(dòng)。不客氣地說,在國內(nèi)信息論的研究幾乎就是個(gè)0,如果學(xué)生想靠自己從頭研究是不現(xiàn)實(shí)的。如果你想走馬觀花的看看,那也沒這個(gè)必要,什么也學(xué)不到;如果想認(rèn)認(rèn)真真地學(xué),那就需要花點(diǎn)時(shí)間。
    如果去看看Csiszar的書,才知道什么叫難懂。
    如果是做研究,Abbas El Gamal的書其實(shí)不錯(cuò),屬于可以指導(dǎo)研究的講義。
  •   就是基礎(chǔ)才要把證明寫得很清楚啊……
  •   這本書書名翻譯的有問題,人家寫的是elements of information theory
    又不是basics of information theory或者introduction to information theory
  •   這本書在第一版前言明確說明本書適合大四(senior year) 和研究生一年級(jí)的教材, 并且學(xué)過概率,有扎實(shí)的數(shù)學(xué)基礎(chǔ)(with a background of at least one good semester course in probability and a solid background in mathematics.),這樣的教材怎么能叫入門教材?我理解的入門教材應(yīng)該
    是有高中甚至初中數(shù)學(xué)背景的人都能讀懂,國外的很多intro 開頭的教材都是這樣
  •   這就是信息論的入門經(jīng)典,但是需要花很大力氣才能讀懂并理解的。這就是這么學(xué)科的特點(diǎn),信息論本身屬于概率統(tǒng)計(jì),應(yīng)用數(shù)學(xué)的分支之一。讀這本書一方面要有較扎實(shí)的數(shù)學(xué)功底,另一方面對(duì)于無線通信、編碼要有一定了解,這樣就能很好的入門。這是經(jīng)典學(xué)術(shù)著作,而不是科普。十分同意@dcc1031的說法。
  •   樓上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入門教材了,附錄怕你不知道求和號(hào),寫著[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]],第1145頁
  •   信息論不用大量證明就不是信息論了。Shannon的信息熵本身就是對(duì)probabilistic uncertainty的量化。Cover把很多基于概率統(tǒng)計(jì)(我指的是三年級(jí)以上的概率統(tǒng)計(jì))的理論都recast了一下,反而比統(tǒng)計(jì)理得更清楚。
  •   作為非EE專業(yè)的學(xué)生 個(gè)人覺得讀起來相當(dāng)有意思 花些時(shí)間和耐心可以讀得很懂 但是problem好難! 這個(gè)Problem肯定不是入門級(jí)的!
  •   翻譯的有問題。Elements of Information Theory,又不是Elementary。
  •   樓主可能把這書當(dāng)科普類的看了,不過這可是教材
    教材的話,數(shù)學(xué)多才是負(fù)責(zé)任的表現(xiàn)
    數(shù)學(xué)的參與是大部分學(xué)科目前的趨勢(shì),所以呢,讀者不應(yīng)該建議作者,反而應(yīng)該改變自己
  •   確實(shí)是基礎(chǔ),只不過這個(gè)基礎(chǔ)知識(shí),需要兩三年才能建立好。我目前都6年了,也就那樣。
  •   哪里有pdf下?急需555
  •   gigapedia上面肯定有,你可以google下書名加PDF,多找找,應(yīng)該也有的。我的是別人直接拷給我的
  •   嗯,的確寫得不錯(cuò)。推薦。
  •   我看了數(shù)學(xué)之美才找到這本書的,太有感觸了!
  •   信息論也很美
 

250萬本中文圖書簡介、評(píng)論、評(píng)分,PDF格式免費(fèi)下載。 第一圖書網(wǎng) 手機(jī)版

京ICP備13047387號(hào)-7