信息論基礎

用戶評論 (總計30條)

•   　　信息論基礎
  　　評分：8.5 權重8 （課程共耗時6361，其中本書2339）
  　　從課程講到典型集之后換用這本書學信息論部分。目前只自己看了這本書的很小一部分，包括二三五七章的部分。使用了本書之后感覺《信息論與編碼理論》真是本傻逼教材，受不了它了。。這本書總體比信息論與編碼的書好多了，第二章只發(fā)現(xiàn)了一個錯誤。層次分明的排版，簡潔明了的公式、定理及其證明，讓人賞心悅目，在閱讀的時候有一種美學享受（不要小看這一點，這是非常影響學習情緒從而影響學習效率的；）。我在學習這本書的時候，常常是剛剛洗澡完，然后一回來就情不自禁如饑似渴的對著本書一直看，等到一抬頭已經(jīng)12點多，舍友都在催我睡覺了；可以說完全進入了一種高度專注的“心流”的學習狀態(tài)，這不僅要拜我當時的良好狀態(tài)所賜，也與教材有極大關聯(lián)；那些錯漏百出的爛書是絕對不可能如此吸引我并且能提供如此連續(xù)而密集的智力活動體驗的。本書的每個章節(jié)的最后還都有專門列舉了本章所有的重要公式定理，簡直是太貼心了。這本書還將每個知識點的外延也都包括在書中，列舉了大量的信息論知識在其他領域如統(tǒng)計、隨機過程、博弈論的應用（后面章節(jié)還有更多方面的，我還沒看到）。最能說明其效力的莫過于漸進均分性這一章，我當時沒有這本教材，聽老師上課講了兩節(jié)課基本什么都沒有聽懂，完全一頭霧水（當然，不能完全怪老師，我本來就不是audio learner，上課就當是預習/復習，而是明顯的visual learner，課下自己看才是重頭戲）,在用短短幾個小時看了本書的這一章節(jié)后就豁然開朗，很快就融會貫通了。這本書的習題量也非常多，而且有理由相信它們都是很經(jīng)典的，可惜只有很少的部分在網(wǎng)上有英文版的答案。這本書文字和公式都太精要了，以至于我想畫一些重點和做高亮記號都無從下手，因為幾乎所有內容都沒有什么廢話，所有內容都是信息量很大的重點，復習的時候可以直接閱讀。但是這本書似乎有點太精要了，經(jīng)常出現(xiàn)不認識的符號或者沒有說明清楚的地方，似乎不是面向初學者的，以至于我有不少地方不太看得懂或者感覺牽扯了太多非課程內容。因此，這本書如果在掌握了更高深的知識后過來復習，會有更大的效力，能夠打通并構建出更完整龐大的知識網(wǎng)絡。我與這本書的緣分必然不會就此終結，以后必然還會繼續(xù)復習以及學習這本書的其他部分，屆時對它的理解可能更加深入，本書的評分也可能會相應的繼續(xù)提高。
  　　
•   　　比起同類書，是相當容易懂。但是數(shù)學的條理邏輯性就不明顯了。具體說來，其他書基本都是直接先把用到的數(shù)學基礎擺出來，在后面章節(jié)中直接用（如El Gamal & Kim的NETWORK INFORMATION THEORY）。而這本書不是的。
  　　
  　　組織結構上可能有些難以把握。僅僅在通信上的應用，最起碼包括信道編碼和信源編碼，兩者是對偶，需要跳來跳去，會弄的讀者一頭霧水。本書又包括了算法復雜度，還有股票投資什么的，建議這部分先跳過去。
  　　
  　　此書入門，入門后看El Gamal & Kim的書。然后再后頭看這本另有收獲。BTW，本書主要用弱典型，El Gamal & Kim的是強典型。強典型容易點。
•   　　剛剛讀完這本書，的確是一本好書，把信息論的主要思想，以及這些思想在包括博弈、金融、數(shù)學、物理、算法復雜性等理論的應用都講出來了，而且能夠把信息論之中蘊含的深刻科學思想講出來，的確是一本好書。
  　　但我認為，這本書仍然存在以下一些不足之處：
  　　1、這并不是一本入門級別的書
  　　不知道評價這本書的其他朋友怎么看，不知道各位都是什么級別的人士。但是，我作為一名也算是理工科背景出身的高校教師，仍然覺得這本書很難真正讀懂。信息論中有很多艱深的思想以及數(shù)學證明包含了本書之中，這些證明不花上一定的力氣不可能學會。所以，相比較來說，我并不覺得這是一本信息論入門書籍。（相比較來說，入門書籍應該更加淺顯一些，而且不要涉及太多的數(shù)學證明）。
  　　2、內容過于分散，很難讓初學者抓住主線
  　　本書的優(yōu)點之一就是將信息論設計的很多相關學科也介紹的非常清楚，例如金融、博弈、物理、最大熵原理、統(tǒng)計等等，但是這也恰恰形成了讀者，尤其是初學者閱讀這本書的障礙。我更不能理解的是，作者似乎按照兩條主線來敘述這些東西。一條主線是比較清晰的傳統(tǒng)信息論和編碼、通信理論，另外一條主線是信息論涉及到的邊邊角角的知識，而且這兩條主線是交錯地在各個章節(jié)呈現(xiàn)的。
  　　3、翻譯的語言過于學術化
  　　翻譯還是不好，有些語言太死板了，有把簡單的概念復雜化的趨勢。
  　　
  　　但是，這本書還是有相當多的閃光點，比如對Entropy這個概念的完整介紹，比如Kolmogorov復雜性理論的介紹。我覺得作者應該進一步突出Entropy這個概念，用它貫穿所有的內容。
•   　　公認的
  　　書中包括的內容極其豐富
  　　并且定理推導都不算復雜
  　　可謂是初學者接觸信息論的最好教材
  　　再加上是二版
  　　這個是標準的美版
  　　哎
  　　只可惜俺沒錢買
  　　長期只能pdf……
•   　　感覺挺明白淺顯的，本科的老師用的這本教材，不過她明顯沒有好好備課，講的亂七八糟的，都是自己看的，還不錯，現(xiàn)在還記得一些印象。
  　　不過我對翻譯的書都沒什么好印象，所以還是建議大家去讀英文版的吧。
•   　　Cover先生是牛人，IEEE的Fellow。
  　　
  　　這本書網(wǎng)上也有英文的電子版?？梢栽囈辉囍苯涌从⑽陌?。也是不錯的。
  　　講的最后兩章指明了現(xiàn)在和將來信息論可能的研究方向。
•   　　雖然概念比較難懂，但如果能找到切入點很容易明白。建議看
  　　www.googlechinablog.com 的數(shù)學之美系列文章。
•   Cover的數(shù)學條理邏輯很好的啊，由道入術。
•   說是入門書的，都是在裝逼，不用介意。
•   基礎不是入門啊，這個是專業(yè)基礎，外行人不知道什么叫基礎吧，呵呵
•   我承認，這本書的不少證明我都是跳過去了的，但是這也似乎是國內能找到最好的信息論入門教材了，不然就得去看給學通信的工科生寫的教材....
  至于貼近普及讀物的一本信息論介紹的書，至今還沒找到
•   我覺得信息論和概率統(tǒng)計都需要極深厚的賭博業(yè)背景``
•   Obviously, information theory is more complex than what they said in the book~
•   我感覺著本書還是比較基礎的，至少對于相關專業(yè)而言。
  其實，熵只是一個簡單的概念。更為重要的如何去在傳遞過程中盡量降低信息的損失。
  信息論涉及到的數(shù)學主要是初等概率論，以及一些重要的不等式。
•   實話實說，對于信息論來說，這還真就是個入門的書籍。這個入門不是指得科普讀物，而是在大學教育過程中，接觸信息論的第一本書籍。而且Cover已經(jīng)在刻意降低理論的深度，把這個口子開得很寬，沒有說太深奧的東西。
  幾項基本的東西像 Jenson 不等式，數(shù)據(jù)處理不等式，F(xiàn)ano不等式，利用typical set 給出的證明，還有就是 random binning 。再深的東西都沒有涉及，像dirty paper coding, Gelfand-Pinsker定理，degraded broadcast channel, interference channel統(tǒng)統(tǒng)都涉獵不深。
  還有，學習又不是玩，信息論這樣的東西更是需要大量的腦力勞動。不客氣地說，在國內信息論的研究幾乎就是個0，如果學生想靠自己從頭研究是不現(xiàn)實的。如果你想走馬觀花的看看，那也沒這個必要，什么也學不到；如果想認認真真地學，那就需要花點時間。
  如果去看看Csiszar的書，才知道什么叫難懂。
  如果是做研究，Abbas El Gamal的書其實不錯，屬于可以指導研究的講義。
•   就是基礎才要把證明寫得很清楚啊……
•   這本書書名翻譯的有問題，人家寫的是elements of information theory
  又不是basics of information theory或者introduction to information theory
•   這本書在第一版前言明確說明本書適合大四（senior year) 和研究生一年級的教材， 并且學過概率，有扎實的數(shù)學基礎（with a background of at least one good semester course in probability and a solid background in mathematics.），這樣的教材怎么能叫入門教材？我理解的入門教材應該
  是有高中甚至初中數(shù)學背景的人都能讀懂，國外的很多intro 開頭的教材都是這樣
•   這就是信息論的入門經(jīng)典，但是需要花很大力氣才能讀懂并理解的。這就是這么學科的特點，信息論本身屬于概率統(tǒng)計，應用數(shù)學的分支之一。讀這本書一方面要有較扎實的數(shù)學功底，另一方面對于無線通信、編碼要有一定了解，這樣就能很好的入門。這是經(jīng)典學術著作，而不是科普。十分同意@dcc1031的說法。
•   樓上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入門教材了，附錄怕你不知道求和號，寫著[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]]，第1145頁
•   信息論不用大量證明就不是信息論了。Shannon的信息熵本身就是對probabilistic uncertainty的量化。Cover把很多基于概率統(tǒng)計（我指的是三年級以上的概率統(tǒng)計）的理論都recast了一下，反而比統(tǒng)計理得更清楚。
•   作為非EE專業(yè)的學生 個人覺得讀起來相當有意思 花些時間和耐心可以讀得很懂 但是problem好難! 這個Problem肯定不是入門級的!
•   翻譯的有問題。Elements of Information Theory，又不是Elementary。
•   樓主可能把這書當科普類的看了，不過這可是教材
  教材的話，數(shù)學多才是負責任的表現(xiàn)
  數(shù)學的參與是大部分學科目前的趨勢，所以呢，讀者不應該建議作者，反而應該改變自己
•   確實是基礎，只不過這個基礎知識，需要兩三年才能建立好。我目前都6年了，也就那樣。
•   哪里有pdf下？急需555
•   gigapedia上面肯定有，你可以google下書名加PDF，多找找，應該也有的。我的是別人直接拷給我的
•   嗯，的確寫得不錯。推薦。
•   我看了數(shù)學之美才找到這本書的，太有感觸了！
•   信息論也很美

相關圖書

• 實戰(zhàn)STRUTS
• 信息整合的新競爭力
• 戰(zhàn)略管理
• 6個月扭虧為盈
• 管理的現(xiàn)在和未來
• 品牌組合戰(zhàn)略
• 書畫家實用手冊
• 探訪性文化之旅
• 世界現(xiàn)代設計史
• 寫給大家的歐美現(xiàn)代美術史
• 第二次世界大戰(zhàn)史畫（上下冊）
• 公共基礎知識教程及模擬考場
• 行政職業(yè)能力測驗歷年試題·套題預測
• 申論歷年試題·套題預測合訂本
• 狗娘養(yǎng)的戰(zhàn)爭
• 行政職業(yè)能力測驗·申論合訂精編本
• 行政職業(yè)能力測驗教程及模擬考場
• 簡明經(jīng)濟小法典
• 簡明民商小法典
• 簡明勞動和社會保障小法典
• 最后沖刺
• 公務員管理法律文件選編
• 申論教程及模擬考場
• 《中華人民共和國公務員法》學習問答
• 公共基礎知識歷年試題·套題預測合訂本