信息論基礎(chǔ)

用戶評(píng)論 (總計(jì)30條)

•   　　信息論基礎(chǔ)
  　　評(píng)分：8.5 權(quán)重8 （課程共耗時(shí)6361，其中本書2339）
  　　從課程講到典型集之后換用這本書學(xué)信息論部分。目前只自己看了這本書的很小一部分，包括二三五七章的部分。使用了本書之后感覺(jué)《信息論與編碼理論》真是本傻逼教材，受不了它了。。這本書總體比信息論與編碼的書好多了，第二章只發(fā)現(xiàn)了一個(gè)錯(cuò)誤。層次分明的排版，簡(jiǎn)潔明了的公式、定理及其證明，讓人賞心悅目，在閱讀的時(shí)候有一種美學(xué)享受（不要小看這一點(diǎn)，這是非常影響學(xué)習(xí)情緒從而影響學(xué)習(xí)效率的；）。我在學(xué)習(xí)這本書的時(shí)候，常常是剛剛洗澡完，然后一回來(lái)就情不自禁如饑似渴的對(duì)著本書一直看，等到一抬頭已經(jīng)12點(diǎn)多，舍友都在催我睡覺(jué)了；可以說(shuō)完全進(jìn)入了一種高度專注的“心流”的學(xué)習(xí)狀態(tài)，這不僅要拜我當(dāng)時(shí)的良好狀態(tài)所賜，也與教材有極大關(guān)聯(lián)；那些錯(cuò)漏百出的爛書是絕對(duì)不可能如此吸引我并且能提供如此連續(xù)而密集的智力活動(dòng)體驗(yàn)的。本書的每個(gè)章節(jié)的最后還都有專門列舉了本章所有的重要公式定理，簡(jiǎn)直是太貼心了。這本書還將每個(gè)知識(shí)點(diǎn)的外延也都包括在書中，列舉了大量的信息論知識(shí)在其他領(lǐng)域如統(tǒng)計(jì)、隨機(jī)過(guò)程、博弈論的應(yīng)用（后面章節(jié)還有更多方面的，我還沒(méi)看到）。最能說(shuō)明其效力的莫過(guò)于漸進(jìn)均分性這一章，我當(dāng)時(shí)沒(méi)有這本教材，聽(tīng)老師上課講了兩節(jié)課基本什么都沒(méi)有聽(tīng)懂，完全一頭霧水（當(dāng)然，不能完全怪老師，我本來(lái)就不是audio learner，上課就當(dāng)是預(yù)習(xí)/復(fù)習(xí)，而是明顯的visual learner，課下自己看才是重頭戲）,在用短短幾個(gè)小時(shí)看了本書的這一章節(jié)后就豁然開朗，很快就融會(huì)貫通了。這本書的習(xí)題量也非常多，而且有理由相信它們都是很經(jīng)典的，可惜只有很少的部分在網(wǎng)上有英文版的答案。這本書文字和公式都太精要了，以至于我想畫一些重點(diǎn)和做高亮記號(hào)都無(wú)從下手，因?yàn)閹缀跛袃?nèi)容都沒(méi)有什么廢話，所有內(nèi)容都是信息量很大的重點(diǎn)，復(fù)習(xí)的時(shí)候可以直接閱讀。但是這本書似乎有點(diǎn)太精要了，經(jīng)常出現(xiàn)不認(rèn)識(shí)的符號(hào)或者沒(méi)有說(shuō)明清楚的地方，似乎不是面向初學(xué)者的，以至于我有不少地方不太看得懂或者感覺(jué)牽扯了太多非課程內(nèi)容。因此，這本書如果在掌握了更高深的知識(shí)后過(guò)來(lái)復(fù)習(xí)，會(huì)有更大的效力，能夠打通并構(gòu)建出更完整龐大的知識(shí)網(wǎng)絡(luò)。我與這本書的緣分必然不會(huì)就此終結(jié)，以后必然還會(huì)繼續(xù)復(fù)習(xí)以及學(xué)習(xí)這本書的其他部分，屆時(shí)對(duì)它的理解可能更加深入，本書的評(píng)分也可能會(huì)相應(yīng)的繼續(xù)提高。
  　　
•   　　比起同類書，是相當(dāng)容易懂。但是數(shù)學(xué)的條理邏輯性就不明顯了。具體說(shuō)來(lái)，其他書基本都是直接先把用到的數(shù)學(xué)基礎(chǔ)擺出來(lái)，在后面章節(jié)中直接用（如El Gamal & Kim的NETWORK INFORMATION THEORY）。而這本書不是的。
  　　
  　　組織結(jié)構(gòu)上可能有些難以把握。僅僅在通信上的應(yīng)用，最起碼包括信道編碼和信源編碼，兩者是對(duì)偶，需要跳來(lái)跳去，會(huì)弄的讀者一頭霧水。本書又包括了算法復(fù)雜度，還有股票投資什么的，建議這部分先跳過(guò)去。
  　　
  　　此書入門，入門后看El Gamal & Kim的書。然后再后頭看這本另有收獲。BTW，本書主要用弱典型，El Gamal & Kim的是強(qiáng)典型。強(qiáng)典型容易點(diǎn)。
•   　　剛剛讀完這本書，的確是一本好書，把信息論的主要思想，以及這些思想在包括博弈、金融、數(shù)學(xué)、物理、算法復(fù)雜性等理論的應(yīng)用都講出來(lái)了，而且能夠把信息論之中蘊(yùn)含的深刻科學(xué)思想講出來(lái)，的確是一本好書。
  　　但我認(rèn)為，這本書仍然存在以下一些不足之處：
  　　1、這并不是一本入門級(jí)別的書
  　　不知道評(píng)價(jià)這本書的其他朋友怎么看，不知道各位都是什么級(jí)別的人士。但是，我作為一名也算是理工科背景出身的高校教師，仍然覺(jué)得這本書很難真正讀懂。信息論中有很多艱深的思想以及數(shù)學(xué)證明包含了本書之中，這些證明不花上一定的力氣不可能學(xué)會(huì)。所以，相比較來(lái)說(shuō)，我并不覺(jué)得這是一本信息論入門書籍。（相比較來(lái)說(shuō)，入門書籍應(yīng)該更加淺顯一些，而且不要涉及太多的數(shù)學(xué)證明）。
  　　2、內(nèi)容過(guò)于分散，很難讓初學(xué)者抓住主線
  　　本書的優(yōu)點(diǎn)之一就是將信息論設(shè)計(jì)的很多相關(guān)學(xué)科也介紹的非常清楚，例如金融、博弈、物理、最大熵原理、統(tǒng)計(jì)等等，但是這也恰恰形成了讀者，尤其是初學(xué)者閱讀這本書的障礙。我更不能理解的是，作者似乎按照兩條主線來(lái)敘述這些東西。一條主線是比較清晰的傳統(tǒng)信息論和編碼、通信理論，另外一條主線是信息論涉及到的邊邊角角的知識(shí)，而且這兩條主線是交錯(cuò)地在各個(gè)章節(jié)呈現(xiàn)的。
  　　3、翻譯的語(yǔ)言過(guò)于學(xué)術(shù)化
  　　翻譯還是不好，有些語(yǔ)言太死板了，有把簡(jiǎn)單的概念復(fù)雜化的趨勢(shì)。
  　　
  　　但是，這本書還是有相當(dāng)多的閃光點(diǎn)，比如對(duì)Entropy這個(gè)概念的完整介紹，比如Kolmogorov復(fù)雜性理論的介紹。我覺(jué)得作者應(yīng)該進(jìn)一步突出Entropy這個(gè)概念，用它貫穿所有的內(nèi)容。
•   　　公認(rèn)的
  　　書中包括的內(nèi)容極其豐富
  　　并且定理推導(dǎo)都不算復(fù)雜
  　　可謂是初學(xué)者接觸信息論的最好教材
  　　再加上是二版
  　　這個(gè)是標(biāo)準(zhǔn)的美版
  　　哎
  　　只可惜俺沒(méi)錢買
  　　長(zhǎng)期只能pdf……
•   　　感覺(jué)挺明白淺顯的，本科的老師用的這本教材，不過(guò)她明顯沒(méi)有好好備課，講的亂七八糟的，都是自己看的，還不錯(cuò)，現(xiàn)在還記得一些印象。
  　　不過(guò)我對(duì)翻譯的書都沒(méi)什么好印象，所以還是建議大家去讀英文版的吧。
•   　　Cover先生是牛人，IEEE的Fellow。
  　　
  　　這本書網(wǎng)上也有英文的電子版?？梢栽囈辉囍苯涌从⑽陌妗Ｒ彩遣诲e(cuò)的。
  　　講的最后兩章指明了現(xiàn)在和將來(lái)信息論可能的研究方向。
•   　　雖然概念比較難懂，但如果能找到切入點(diǎn)很容易明白。建議看
  　　www.googlechinablog.com 的數(shù)學(xué)之美系列文章。
•   Cover的數(shù)學(xué)條理邏輯很好的啊，由道入術(shù)。
•   說(shuō)是入門書的，都是在裝逼，不用介意。
•   基礎(chǔ)不是入門啊，這個(gè)是專業(yè)基礎(chǔ)，外行人不知道什么叫基礎(chǔ)吧，呵呵
•   我承認(rèn)，這本書的不少證明我都是跳過(guò)去了的，但是這也似乎是國(guó)內(nèi)能找到最好的信息論入門教材了，不然就得去看給學(xué)通信的工科生寫的教材....
  至于貼近普及讀物的一本信息論介紹的書，至今還沒(méi)找到
•   我覺(jué)得信息論和概率統(tǒng)計(jì)都需要極深厚的賭博業(yè)背景``
•   Obviously, information theory is more complex than what they said in the book~
•   我感覺(jué)著本書還是比較基礎(chǔ)的，至少對(duì)于相關(guān)專業(yè)而言。
  其實(shí)，熵只是一個(gè)簡(jiǎn)單的概念。更為重要的如何去在傳遞過(guò)程中盡量降低信息的損失。
  信息論涉及到的數(shù)學(xué)主要是初等概率論，以及一些重要的不等式。
•   實(shí)話實(shí)說(shuō)，對(duì)于信息論來(lái)說(shuō)，這還真就是個(gè)入門的書籍。這個(gè)入門不是指得科普讀物，而是在大學(xué)教育過(guò)程中，接觸信息論的第一本書籍。而且Cover已經(jīng)在刻意降低理論的深度，把這個(gè)口子開得很寬，沒(méi)有說(shuō)太深?yuàn)W的東西。
  幾項(xiàng)基本的東西像 Jenson 不等式，數(shù)據(jù)處理不等式，F(xiàn)ano不等式，利用typical set 給出的證明，還有就是 random binning 。再深的東西都沒(méi)有涉及，像dirty paper coding, Gelfand-Pinsker定理，degraded broadcast channel, interference channel統(tǒng)統(tǒng)都涉獵不深。
  還有，學(xué)習(xí)又不是玩，信息論這樣的東西更是需要大量的腦力勞動(dòng)。不客氣地說(shuō)，在國(guó)內(nèi)信息論的研究幾乎就是個(gè)0，如果學(xué)生想靠自己從頭研究是不現(xiàn)實(shí)的。如果你想走馬觀花的看看，那也沒(méi)這個(gè)必要，什么也學(xué)不到；如果想認(rèn)認(rèn)真真地學(xué)，那就需要花點(diǎn)時(shí)間。
  如果去看看Csiszar的書，才知道什么叫難懂。
  如果是做研究，Abbas El Gamal的書其實(shí)不錯(cuò)，屬于可以指導(dǎo)研究的講義。
•   就是基礎(chǔ)才要把證明寫得很清楚啊……
•   這本書書名翻譯的有問(wèn)題，人家寫的是elements of information theory
  又不是basics of information theory或者introduction to information theory
•   這本書在第一版前言明確說(shuō)明本書適合大四（senior year) 和研究生一年級(jí)的教材， 并且學(xué)過(guò)概率，有扎實(shí)的數(shù)學(xué)基礎(chǔ)（with a background of at least one good semester course in probability and a solid background in mathematics.），這樣的教材怎么能叫入門教材？我理解的入門教材應(yīng)該
  是有高中甚至初中數(shù)學(xué)背景的人都能讀懂，國(guó)外的很多intro 開頭的教材都是這樣
•   這就是信息論的入門經(jīng)典，但是需要花很大力氣才能讀懂并理解的。這就是這么學(xué)科的特點(diǎn)，信息論本身屬于概率統(tǒng)計(jì)，應(yīng)用數(shù)學(xué)的分支之一。讀這本書一方面要有較扎實(shí)的數(shù)學(xué)功底，另一方面對(duì)于無(wú)線通信、編碼要有一定了解，這樣就能很好的入門。這是經(jīng)典學(xué)術(shù)著作，而不是科普。十分同意@dcc1031的說(shuō)法。
•   樓上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入門教材了，附錄怕你不知道求和號(hào)，寫著[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]]，第1145頁(yè)
•   信息論不用大量證明就不是信息論了。Shannon的信息熵本身就是對(duì)probabilistic uncertainty的量化。Cover把很多基于概率統(tǒng)計(jì)（我指的是三年級(jí)以上的概率統(tǒng)計(jì)）的理論都recast了一下，反而比統(tǒng)計(jì)理得更清楚。
•   作為非EE專業(yè)的學(xué)生 個(gè)人覺(jué)得讀起來(lái)相當(dāng)有意思 花些時(shí)間和耐心可以讀得很懂 但是problem好難! 這個(gè)Problem肯定不是入門級(jí)的!
•   翻譯的有問(wèn)題。Elements of Information Theory，又不是Elementary。
•   樓主可能把這書當(dāng)科普類的看了，不過(guò)這可是教材
  教材的話，數(shù)學(xué)多才是負(fù)責(zé)任的表現(xiàn)
  數(shù)學(xué)的參與是大部分學(xué)科目前的趨勢(shì)，所以呢，讀者不應(yīng)該建議作者，反而應(yīng)該改變自己
•   確實(shí)是基礎(chǔ)，只不過(guò)這個(gè)基礎(chǔ)知識(shí)，需要兩三年才能建立好。我目前都6年了，也就那樣。
•   哪里有pdf下？急需555
•   gigapedia上面肯定有，你可以google下書名加PDF，多找找，應(yīng)該也有的。我的是別人直接拷給我的
•   嗯，的確寫得不錯(cuò)。推薦。
•   我看了數(shù)學(xué)之美才找到這本書的，太有感觸了！
•   信息論也很美

相關(guān)圖書

• 實(shí)戰(zhàn)STRUTS
• 信息整合的新競(jìng)爭(zhēng)力
• 戰(zhàn)略管理
• 6個(gè)月扭虧為盈
• 管理的現(xiàn)在和未來(lái)
• 品牌組合戰(zhàn)略
• 書畫家實(shí)用手冊(cè)
• 探訪性文化之旅
• 世界現(xiàn)代設(shè)計(jì)史
• 寫給大家的歐美現(xiàn)代美術(shù)史
• 第二次世界大戰(zhàn)史畫（上下冊(cè)）
• 公共基礎(chǔ)知識(shí)教程及模擬考場(chǎng)
• 行政職業(yè)能力測(cè)驗(yàn)歷年試題·套題預(yù)測(cè)
• 申論歷年試題·套題預(yù)測(cè)合訂本
• 狗娘養(yǎng)的戰(zhàn)爭(zhēng)
• 行政職業(yè)能力測(cè)驗(yàn)·申論合訂精編本
• 行政職業(yè)能力測(cè)驗(yàn)教程及模擬考場(chǎng)
• 簡(jiǎn)明經(jīng)濟(jì)小法典
• 簡(jiǎn)明民商小法典
• 簡(jiǎn)明勞動(dòng)和社會(huì)保障小法典
• 最后沖刺
• 公務(wù)員管理法律文件選編
• 申論教程及模擬考場(chǎng)
• 《中華人民共和國(guó)公務(wù)員法》學(xué)習(xí)問(wèn)答
• 公共基礎(chǔ)知識(shí)歷年試題·套題預(yù)測(cè)合訂本