超級數(shù)字天才

內容概要

有人在葡萄酒釀造出之前就能知道酒的品質好壞　  有人在看到運動員比賽之前就能判斷出其水平　　有人在購買機票之前就能知道機票價格會漲還是跌他們有特異功能嗎?    交友網站能測出什么樣的異性適合你　  亞馬遜可以告訴你“和你類似的人還喜歡”的東西谷歌可以根據(jù)你的搜索把你最想看到的東西排列到最前面　　他們如何做到的呢？    意到了嗎?數(shù)據(jù)分析正在以我們從未想象過的方式影響著生活。本書中，作者向我們展示了當今最優(yōu)秀、最出色的組織正在以閃電般的速度分析規(guī)模龐大的數(shù)據(jù)，以便更加準確地掌握人類的行為。這些人就是“超級數(shù)字天才”。從互聯(lián)網站如谷歌、亞馬遜能比你自己更了解自己的愛好，到醫(yī)生的診斷和孩子的教育，再到政府、法院，這種新型的決策者逐漸掌控了世界。艾瑞斯以生動、輕松的方式向我們展示：　　超級數(shù)字分析在商業(yè)、醫(yī)院、法院等社會各個角落的崛起?！　〕墰Q策與經驗直覺決策的對峙　　超級數(shù)字分析崛起的原因　　哪些人會因此受益，哪些人會因此受損　　未來將屬于誰　　僅僅依靠直覺決策的時代已經一去不復返。任何想要走在時代前列的商業(yè)人士、消費者、學生都應該閱讀這本書。

作者簡介

伊恩·艾瑞斯，計量經濟學家、律師，耶魯管理學院教授。他是《福布斯》雜志的專欄作家，目前是《法律、經濟學和組織機構期刊》（Journal of Law,and Organization）的編輯，曾著有8本書，發(fā)表過100多篇文章。

書籍目錄

序：超級數(shù)字天才的崛起誰在替你思考拋硬幣創(chuàng)建數(shù)據(jù)政府也做隨機試驗循證醫(yī)學之爭專家與議程的對峙為什么是現(xiàn)在崛起誰將是受損者直覺和經驗的未來致謝

章節(jié)摘錄

誰在替你思考人的建議可以讓你生活得更輕松。想知道該租哪部影片來看嗎？常用的方法是問問朋友的看法，或者看看影評們對它的評價如何。當今的人們往往上網去根據(jù)大家的行為來尋找參考意見。有些“偏好引擎”列出了最受歡迎的東西的簡單清單?！都~約時報》列出了“轉載次數(shù)最多的章”。iTunes列出了下載次數(shù)最多的歌曲。Del.ici0.US列出了最受歡迎的互聯(lián)網書簽。這些簡單的過濾常常幫助網友們特別關注這些最受歡迎的事物。有些推薦軟件更進一步，它們試圖讓你知道跟你相似的人都喜歡什么。亞馬遜會告訴你買了《達芬奇密碼》（The Da Vinci Code）的人也買了《圣血，圣杯》（Holly Blood，HoUy Grail）。DVD租賃公司Netflix會根據(jù)你以前推薦過的電影來給你推薦影片。這是真正的“合作篩選”，因為你對影片的評級可以使Netflix更好地給別人推薦，而別人的評價也可以使Netflix更好地為你推薦?；ヂ?lián)網是實現(xiàn)這一服務的完美工具，因為零售商在網絡上用非常低廉的成本就可以追蹤消費者的行為，自動加總、分析他們的信息，并把這些信息顯示給后繼消費者。這些程序當然也不可能完美無缺。如果有人想在沃爾瑪找馬丁?路德?金的《我有一個夢想》（I Have a Dream），卻被告知他們也許也該欣賞一下DVD影片《決戰(zhàn)猩球》（Planet of the Apes），那么沃爾瑪就必須為此道歉。亞馬遜也類似地得罪過消費者，他們搜索有關“墮胎”的書，而亞馬遜卻問“你想搜的是領養(yǎng)嗎”？（譯者注：在英文中，“墮胎”和“領養(yǎng)”形近，分別是abortion和adoption。）“領養(yǎng)”問題之所以會自動出現(xiàn)，是因為以前搜索過“墮胎”的很多顧客也搜索了“領養(yǎng)”。盡管如此，通過網絡進行的“合作篩選”已經使消費者和零售商都受到了很大的裨益。在Netflix，租出去的影片中大概有三分之二得到網上推薦。而且（在Netflix的五星評級體系中）被推薦過的電影的評級都比在這一推薦系統(tǒng)之外租到的影片提高了半個星。最常轉載的文章和暢銷書等評比使消費變得集中，而更個性化的推薦則可以使消費變得分散。Netflix可以為不同人推薦不同的電影。因此，Netflix的50000類不同的影片中至少每個月都有90％以上可以被租出?！昂献骱Y選”可以使賣方接觸到克里斯?安德森（Chris Anderson）所說的偏好分布的“長尾”。Netflix的推薦可以使顧客定位更精準，而這在過去很難實現(xiàn)。音樂方面也存在類似的現(xiàn)象。在Pandora.corn，用戶只需輸入他們喜愛的歌曲名或者歌手名，幾乎在同時，這個網站就開始一首接一首地涌出風格類似的歌曲。你喜歡辛迪?勞博爾（Cyndi Lauper）和破嘴合唱團（SmashMouth）嗎？瞧，Pandora.com為你創(chuàng)建了一個電臺，專門播放勞博爾或者破嘴合唱團以及跟他們風格類似的歌曲。每一首歌播放的時候，你還可以點擊“我確實非常喜歡這首歌”或者“下次不要再播放這首歌”，讓這個電臺更多地了解你的喜好。這個網站對我和我的孩子來說實在是太有用了。它不僅可以播放我們大家都喜歡的音樂，而且還能找到許多我們從沒聽說過的音樂。例如，我告訴Pandora.corn我喜歡布魯斯?斯普林斯?。˙ruce Springsteen），所以它就為我創(chuàng)建了一個電臺，播放Boss樂隊和其他著名歌手的音樂。但是播了幾首歌后，我就沉浸在它為我選出的基頓?西蒙斯（Keaton Simons）的《現(xiàn)在》（Now）中了（而且它有快速鏈接，因此可以很方便地在iTunes或者亞馬遜上買到這首歌或唱片）。這就是長尾，因為像我這樣的書呆子是不可能自己找到基頓?西蒙斯的。Rhapsody.om也有類似的偏好系統(tǒng)，這使得他們100萬首歌單中90％以上的歌曲每個月都能被播放。MSNBC.corn最近增添了“故事推薦”功能。這個功能使用一個cookie文件來跟蹤你最近閱讀過的l6篇文章，并利用自動文本分析工具預測你還想讀什么樣的故事。讓人吃驚的是，這樣的16個故事的記錄幾乎一定能夠促使你養(yǎng)成早晨閱讀的習慣。令我有點尷尬的是，它自動推薦給我的是《美國偶像》（Amer／can Id01）。不過芝加哥大學的法律系教授卡斯?桑斯坦（Cass Sunstein）擔心開發(fā)長尾偏好會帶來社會成本。這些個性化的篩選系統(tǒng)越成功，我們共同體驗的就越少。麻省理工學院的教授尼克拉斯?尼葛洛龐帝（Nicholas Negroponte）是傳媒技術的專家，從這些“個性化新聞”特寫中，他看到了“我的日報”（DailyMe）——讓市民們只接觸迎合他們狹隘偏好的新聞出版物——的出現(xiàn)。當然，自我篩選新聞這一現(xiàn)象已經出現(xiàn)很長時間了。副總統(tǒng)切尼只看?？怂剐侣劊‵ox News）。拉夫?納達爾只讀瓊斯夫人（Mother Jones）的文章。不同之處在于，當今的科技正在創(chuàng)造著更強大的聽眾審核體系。Excite.corn和Zats0.net等網站開始允許用戶為自己創(chuàng)立“我的報紙”和“個性化的新聞廣播”。這樣做的目的是創(chuàng)建一個“由你決定新聞”的平臺。Gooste新聞（GoosleNews）允許用戶個性化設定自己的新聞群。郵件提醒功能和RSS閱讀允許你選擇“這是我想要的新聞”?，F(xiàn)如今，如果愿意的話，對于那些自己毫不關心的社會問題的新聞報導，我們連看都不用看一眼。所有這些合作篩選系統(tǒng)都是詹姆斯?索羅維基（Janles Surowiecki）所說的“群眾的智慧”的例子。在某些情況下，大家一起做出的預測比由其中任何一個成員做出的估計要準確得多。例如，假設能夠準確猜出罐子里硬幣數(shù)目的大學生，可以得到100美元獎勵。把大家的估計簡單地求一下平均數(shù)，就得出“群眾的智慧”。無數(shù)次的實驗表明，平均估計比任何個人的估計都更接近真實值。有人猜得過高，有人猜得過低；但是一經加總，過高的和過低的估計就相互抵消了。集體往往能夠比個人做出更好的預測。電視節(jié)目“誰想成為百萬富翁”（Who Wants to Be a Millionaire）中，“征求觀眾意見”得到的答案正確率超過90％（而打電話給朋友得到的答案只有不到三分之二是正確的）。合作篩選是一種特別的觀眾投票方式。跟你相似的人可以很正確猜出你喜歡什么樣的音樂和電影。需求偏好數(shù)據(jù)庫能有效地改善個體決策過程。eHarmony譜寫新的篇章新近興起一種新的預測方式，它利用集體智慧來分析潛意識的偏好。eHarmony的興起是集體智慧的一種新發(fā)現(xiàn)，而這種發(fā)現(xiàn)依靠的是超級數(shù)字分析。傳統(tǒng)的婚姻媒介引導人們有意識地表達自己的偏好，并根據(jù)這種偏好把人們配對。與此相反，eHarmony努力弄清楚你是什么樣的人，然后再把你配給從數(shù)據(jù)分析中得知最為匹配的人。eHarmony從一個包含大量信息的數(shù)據(jù)庫里查詢什么性格類型的人結為夫妻會真正幸福。20世紀90年代后期，eHarmony的創(chuàng)始人和推動者尼爾?克拉克?沃倫（Neil Clark Warren）對5000多對夫妻進行了研究，并首次提出一個用來預測適應性的統(tǒng)計模型，這個模型包括29個與個人情感秉性、社會風格、認知模式以及關系技巧等相關的不同變量。eHarmony使用的是數(shù)據(jù)分析中最早的工具——回歸分析?；貧w分析是使用歷史數(shù)據(jù)估計不同的原因變量對某個感興趣的變量的影響大小。對eHarmony來說，感興趣的變量是夫妻之間的適應程度，而原因變量就是反　映夫妻二人的感情、社會及認知特征的29個變量?；貧w技術是100多年前由查爾斯?達爾文（Charles Darwin）的表兄弟弗朗西斯?高爾頓（Francis Galton）建立的。高爾頓1877年就擬合了第一條回歸直線。還記得奧利?阿什菲爾特用來預測葡萄酒品質的那個方程式嗎？那就是由回歸得到的。高爾頓的第一個回歸方程也是農業(yè)方面的。他的回歸方程是用甜豌豆的親本種子的大小來預測其種子大小。他發(fā)現(xiàn)大種子的后代往往比中等或小種子的后代要大，但是其后代不會像其親本種子那么大。高爾頓用另一個回歸方程發(fā)現(xiàn)，兒子和父親的身高有類似的趨同現(xiàn)象。高個父親的兒子身高一般高于平均水平，但不像他父親那樣高。這意味著用于預測兒子身高的回歸方程需要在父親的身高上乘以一個小于1的因子。實際上，高爾頓估計出父親每高于平均值1英寸，兒子的預測身高就能高出三分之二英寸。當他計算預測父母和孩子IQ之間的關系的回歸方程時，再次發(fā)現(xiàn)了這個現(xiàn)象。聰明父母的孩子比智力一般的父母的孩子聰明，但卻沒有他們的父母那么聰明?！盎貧w”這個詞語與技術本身沒有任何關系。高爾頓之所以把這個技術稱為回歸，是因為他正好預測的第一組對象顯示了這種趨勢——高爾頓稱之為“走向平庸的回歸”，我們現(xiàn)在稱為“向平均的回歸”。 回歸產生了一個最適合這些數(shù)據(jù)的方程式。盡管回歸方程是根據(jù)歷史資料來估計的，但是它可以用于預測未來。高爾頓最早的回歸方程是把種子的大小作為其親本種子大小的函數(shù)，把孩子的身高或智商作為他們父母的身高或智商的函數(shù)。奧利?阿什菲爾特關于葡萄酒的方程式預測了溫度和雨水對葡萄酒品質的影響。eHarmony也建立了一個用于預測偏好的公式。與Netflix或亞馬遜的偏好引擎不同，eHarmony的回歸方程通過使用人們甚至不了解、無法說出的個性和性格特征把最適合的人相互匹配。的確，eHarmony可能會把你與你從沒想過會喜歡的人匹配在一起。這就是集體智慧，它超越個體的意識選擇，能夠看到人的潛意識的、隱藏于內心的活動。使用數(shù)據(jù)分析進行匹配的不只有eHarmony一個。Perfectmatch使用邁爾斯一布里格斯（Myers—Briggs）性格測試量表修訂版來匹配用戶。20世紀40年代，伊莎貝爾?布里格斯?邁爾斯（Isabel Briggs Myers）及其母親凱瑟琳?布里格斯（Katherine Briggs）根據(jù)心理分析學家榮格（Carl Jung）的性格類型理論開發(fā)了一個量表。邁爾斯一布里格斯量表把人的性格分成l6種不同的基本類型。Perfectmatch就根據(jù)M—B分類法把最有可能形成持久關系的人配在一起。True.tom也不甘示弱。它收集了其客戶關于99個關系因素的數(shù)據(jù)，并把這些數(shù)據(jù)輸入一個回歸方程，從而計算出任意兩人之間的適應性指數(shù)。True.com實際上就是在告訴你，你跟其他人會相處得怎么樣。盡管這三個服務商都利用數(shù)據(jù)分析做出人與人之間適應性程度的預測，但是它們得出的結果卻迥然不同。eHarmony相信要找到與自己非常相近的人?！拔覀兊难芯恳恢睆娬{的是，”沃倫說，“要找到這樣一個人，他（她）的智商與你相近，抱負與你相近，精力與你相近，精神與你相近，好奇心也與你相近。總之，我們的模型就是一個相似性模型?！迸c此相反，Perfectmatch和Trun.corn尋找的是互補性的性格。“我們不僅從內心里知道，而且也都有過這樣的經歷，有時會被那些與我們性格不同的人所吸引，并與他們相處得更好，”Perfectmatch的實證分析學家派博?施瓦茨（Pepper Schwartz）說?！耙虼诉~爾斯一布里格斯量表最妙的不在于描述了性格的特征，而在于性格之間如何能夠彼此適應?！边@種分析結果的差異并不是數(shù)據(jù)分析應有的目的。數(shù)據(jù)應該能夠決定出個性相近的和互補的人哪個匹配更好些。但是很難說誰對誰錯，因為行業(yè)分析會保留在本行業(yè)內部，用來分析的數(shù)據(jù)也是高度保密的。我所做過的許多研究（包括出租車小費、防種族與性別歧視行為、密攜槍支）的數(shù)據(jù)都可以從互聯(lián)網上免費下載，而關于“網上約會服務”的匹配規(guī)則的數(shù)據(jù)是私密的。創(chuàng)立“雅虎友緣人”的馬克?湯普森（Mark Thompson）說，用社會科學的標準去衡量市場是不現(xiàn)實的。“在市場上，同行評審體系不適用，”湯普森說。“我們用了兩個月建立雅虎友緣人系統(tǒng)。那可是真正的不分晝夜。我們對50000人做過研究?！迸c此同時，配對網站已經開始爭先恐后地證明自己結果的有效性。True.coin強調他們是唯一經過獨立審計師審核的網站。曾任True.corn首席心理學家的詹姆斯?赫安（James Houran）對于eHarmony的數(shù)據(jù)結果非常不以為然?！拔铱床坏饺魏巫C據(jù)表明他們在形成量表時做過什么研究，”赫安說，“如果自詡所做的是科學研究，那是給學術界看的?！眅Harmony對此做出了回應。他們提供證據(jù)表明他們的配對系統(tǒng)是管用的。eHarmony主辦了一個哈利斯（Harris）調查，表明他們現(xiàn)在一天能夠促成90對婚姻（一年就是30000多對）。這當然比一對也成不了要好，但是與eHarmony的500萬會員相比，這算不上大的成功，因為這意味著你花了50美元手續(xù)費后最終能夠走入婚姻殿堂的概率僅僅為1％。其他競爭對手很快就公布了促成的婚姻數(shù)目。雅虎的湯普森說過，要想找到你未來的另一半，更好的方式是“去逛逛Safeway超市?！眅Harmony還聲稱有證據(jù)表明他們促成的婚姻確實更和諧。該網站的研究人員去年在向美國心理學協(xié)會（American Psychological Society）做報告時稱，經過eHarmony找到彼此并結婚的夫妻比結婚同樣時間但是通過其他方式認識的夫妻過得更幸福。盡管這項研究有些嚴重的缺陷，但這傳達給我的重要信息是，現(xiàn)在主要的交友網站不僅僅通過數(shù)據(jù)分析得出匹配規(guī)則，而且也利用數(shù)據(jù)分析來證明自己的匹配規(guī)則是正確的。然而，這些服務商的匹配規(guī)則并不完全依賴數(shù)據(jù)。它們至少部分地依靠顧客的有意識的偏好（不管這些偏好是否適合用來預測適應性）。eHarmony允許用戶對未來伴侶的種族有區(qū)別對待。盡管這種區(qū)別對待只是基于顧客的需求，但是交友服務提供商根據(jù)種族來區(qū)別對待的做法也許違背了獨立戰(zhàn)爭中規(guī)定的簽訂合同時禁止種族歧視的法律。要慎重點兒。eHarmony拒絕給同性戀配對，這使它陷入了更大的麻煩。網站創(chuàng)立者的妻子兼高級副總裁瑪麗恩?沃倫（Marylyn Warren）曾經說過，“eHarmony是面向所有人的。我們不以任何方式進行任何歧視?！憋@然這話是假的。即使兩個男子都回答了網站的436個問題且電腦程序算出來他們倆最適合，eHarmony也不會把他們兩個配在一起。這是一個悲哀的諷刺。eHarmony跟它的競爭對手的不同之處就在于強調相似性，但是當遇到性別問題時，它卻堅持認為異性相吸。eHarmony是十大交友網站中唯一不提供同性匹配服務的網站。為什么eHarmony非要如此獨具一格呢？即使在同性結婚是合法的馬薩諸塞州，它拒絕為同性戀聯(lián)姻的做法，也似乎與該公司所宣稱的“幫助人們找到持久、滿意的婚姻伴侶”的目標相悖。沃倫自稱是一名“熱情的基督教徒”，多年來他密切參與詹姆斯?杜布森（James Dobson）的愛家協(xié)會（Focuson the Family）活動。不管統(tǒng)計數(shù)據(jù)結果如何，eHarmony只愿意協(xié)助達成合法的婚姻。由于計算程序是不公開的，eHarmony實際上有可能在他們的計算程序上加上某種偏愛某些顧客的規(guī)范標準。如果有餐館不允許西班牙顧客坐在“白人專座”的話，那它麻煩就大了。不過，隱含在所有這些新興交友網站背后的重要信息——也是他們都認可的看法——是，數(shù)據(jù)決策不一定受限于人們有意識的偏好。恰好相反，有可能通過研究決策的結果，從數(shù)據(jù)中找出引致成功的因素。本章講的就是簡單的回歸方程如何通過改善預測來改變人們決策的。通過篩選加總數(shù)據(jù)，回歸技術可以揭示出普通人甚至連專家也觀察不到的隱含的因果關系。有時專家們會認為某個因素對于某個結果來說是重要的，但回歸技術實際上會排除掉。加思?桑德姆（Garth Sundem）在著作《邏輯怪談》（Geek togik）中，純粹為了好玩，回歸了一個用于預測名人婚姻持久期的方程式。（結果發(fā)現(xiàn)使用Google搜索次數(shù)越多，婚姻持續(xù)時間越短——尤其是當最常搜索的內容里包含有色情暗示的照片時?。〆Harmony，Perfectmatch，以及True.com做的也是同樣的事情，只不過它們是營利性的。這些服務都在進行一種全新的數(shù)據(jù)分析競爭。這場博弈已經開始了，而且是一場特殊博弈。哈拉斯能察覺到你的痛苦類似地，盧氏裝飾材料零售商（Lowe’s）和電路程電器連鎖店（CircuitCity）等公司內部也在根據(jù)數(shù)據(jù)進行匹配，他們利用數(shù)據(jù)分析來挑選職位應聘者。雇主希望預測哪些應聘者能夠更好地投入到工作中。與傳統(tǒng)推測應聘者智商的能力傾向測試不同，現(xiàn)代測試更類似于eHarmony的問卷，目的在于估計出應聘人員的三個潛在的性格特征：道德心、親和力以及外向性。數(shù)據(jù)挖掘的結果發(fā)現(xiàn)這三個性格特征能比傳統(tǒng)的能力測試更好地預測工人的生產率（尤其是營業(yè)額）。巴巴拉?埃瑞里奇（Barbara Ehrenreich）接受明尼阿波利斯的一個沃爾瑪超市面試測試時，被問到命題“不墨守陳規(guī)的人在每個公司都有生存空間”。巴巴拉同意該命題的說法，但卻吃驚地得知自己的答案是錯的。不過這是回歸方程的結果：認為沃爾瑪適合不墨守陳規(guī)的人是不適合呆在沃爾瑪?shù)模麄兺勐矢?。而如果辯解稱沃爾瑪及其他雇主應該把那些令人頭腦麻木的工作變得有趣些，那就是另外一碼事了。但是當今世界里，令人頭腦麻木的工作并不違法，因此我很難看出這些統(tǒng)計上有效的測試有什么不好，因為它們可以幫助工人找到最合適的工作崗位。挖掘不明顯的預測關系并不僅僅關系到能否雇傭到好員工。它還能夠幫助企業(yè)降低成本，尤其是庫存積壓的成本。如果企業(yè)能夠更準確地預測需求量，那么就能更好地判斷出什么時候會用完什么。當然，企業(yè)還應該知道另一個同等重要的事情：什么時候不會用完什么。數(shù)據(jù)分析可以幫助企業(yè)即時采購，從而不必承擔積壓大量庫存的成本。沃爾瑪和Target等超市努力盡可能地保證零庫存?！皵[在貨架上的就是所有的產品，”數(shù)據(jù)分析公司泰克勞斯軟件公司（Teradata）的總經理斯科特?葛瑙（Scott Gnau）說。“如果我買了6罐黃玉米后貨架上只剩3罐了，馬上就會有人知道并確保有小車到我這邊來再放上一些。幾乎當你把商品放在自己購物車上的那一瞬間。

媒體關注與評論

生動而嚴謹?shù)貙Χ糠治龊蜎Q策方法運用的描述……社會科學家和商業(yè)人士都能受益頗豐。　　　——肯尼思·約瑟夫·阿羅　　　諾貝爾經濟學獎得主，斯坦福大學榮譽教授　　生動的、令人愉悅的……艾瑞斯嫻熟地展現(xiàn)了數(shù)據(jù)分析在我們生活中的重要性，尤其是當技術使其以一種從未想象到的規(guī)模發(fā)揮影響……　　——《出版者周刊》　　過去，直覺和經驗就夠用了。時代憶經變了?，F(xiàn)在，游戲的名字叫做數(shù)據(jù)。伊恩·艾瑞斯在這本開拓之作《超級數(shù)字天才》中告訴我們?yōu)槭裁匆约白兓男问?。這本書不僅充滿了閱讀的樂趣

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    超級數(shù)字天才 PDF格式下載

---