這就是搜索引擎

前言

　　互聯(lián)網(wǎng)產(chǎn)品形形色色，有產(chǎn)品導向的，有營銷導向的，也有技術導向的，但是以技術見長的互聯(lián)網(wǎng)產(chǎn)品比例相對小些。搜索引擎是目前互聯(lián)網(wǎng)產(chǎn)品中最具技術含量的產(chǎn)品，如果不是唯一，至少也是其中之一?！　〗?jīng)過十幾年的發(fā)展，搜索引擎已經(jīng)成為互聯(lián)網(wǎng)的重要入口之一，Twitter聯(lián)合創(chuàng)始人埃文威廉姆斯提出了“域名已死論”：好記的域名不再重要，因為人們會通過搜索進入網(wǎng)站。搜索引擎排名對于中小網(wǎng)站流量來說至關重要。了解搜索引擎簡單界面背后的技術原理其實對很多人都很重要?！　槭裁磿羞@本書　　最初寫本搜索引擎技術書籍的想法萌生于兩年前，當時的場景是要給團隊成員做搜索技術培訓，但是我找遍了相關圖書，卻沒有發(fā)現(xiàn)非常合適的搜索技術入門書籍。當時市面上的書籍，要么是信息檢索理論方面的專著，理論性太強不易懂，而且真正講搜索引擎技術的章節(jié)并不太多；要么是Lucene代碼分析這種過于實務的書籍，像搜索引擎這種充滿算法的應用，直接分析開源系統(tǒng)代碼并不是非常高效的學習方式。所以當時萌生了寫一本既通俗易懂，適合沒有相關技術背景的人員閱讀，又比較全面，且融入最新技術的搜索引擎書籍，但是真正動手開始寫是一年前的事情了?！　憰拔医o自己定了幾個目標。首先內(nèi)容要全面，即全面覆蓋搜索引擎相關技術的主要方面，不僅要包含倒排索引、檢索模型和爬蟲等常見內(nèi)容，也要詳細講解鏈接分析、網(wǎng)頁反作弊、用戶搜索意圖分析、云存儲及網(wǎng)頁去重，甚至是搜索引擎緩存等內(nèi)容，這些都是一個完整搜索引擎的有機構成部分，但是詳述其原理的書籍并不多，我希望能夠盡可能全面些?！　〉诙€目標是通俗易懂。我希望沒有任何相關技術背景的人也能夠通過閱讀這本書有所收獲，最好是不懂技術的同學也能大致看懂。這個目標看似簡單，其實很不容易達到，我也不敢說這本書已經(jīng)達到了此目的，但是確實已經(jīng)盡自己所能去做了。至于具體的措施，則包含以下三個方面?！　∫粋€是盡可能減少數(shù)學公式的出現(xiàn)次數(shù)，除非不得已不羅列公式。雖說數(shù)學公式具簡潔之美，但是大多數(shù)人其實對于數(shù)學符號是有恐懼和逃避心理的，多年前我也有類似心理，所以但凡可能，盡量不用數(shù)學公式。　　一個是盡可能多舉例子，尤其是一些比較難理解的地方，需要例子來增進理解?！　∵€有一個是多畫圖。就我個人的經(jīng)驗來說，盡管算法或者技術是很抽象的，但是如果深入理解其原理，去繁就簡，那么一定可以把算法轉(zhuǎn)換成形象的圖片。如果不能在頭腦中形成算法直觀的圖形表示，說明并未透徹了解其原理。這是我判斷自己是否深入理解算法的一個私有標準。鑒于此，本書中在講解算法的地方，大量采用了算法原理圖，全書包含了超過300幅算法原理講解圖，相信這對于讀者深入理解算法會有很大的幫助?！　〉谌齻€目標是強調(diào)新現(xiàn)象新技術，比如Google的咖啡因系統(tǒng)及Megastore等云存儲系統(tǒng)、Pregel云圖計算模型、暗網(wǎng)爬取技術、Web 2.0網(wǎng)頁作弊、機器學習排序、情境搜索、社會化搜索等在相關章節(jié)都有講解。　　第四個目標是強調(diào)原理，不糾纏技術細節(jié)。對于新手一個易犯的毛病是喜歡摳細節(jié)，只見樹木不見森林，搞明白了一個公式卻不了解其背后的基本思想和出發(fā)點。我接觸技術人員很多，十有七八會有這個特點。這里有個“道術孰優(yōu)”的問題，何為“道”？何為“術”？舉個例子的話，《孫子兵法》是道，而《三十六計》則為術?！暗馈彼觯呛暧^的、原理性的、長久不變的基本原理，而“術”則是在遵循基本原理基礎上的具體手段和措施，具有易變性。技術也是如此，算法本身的細節(jié)是“術”，算法體現(xiàn)的基本思想則是“道”，知“道”而學“術”，兩者雖不可偏廢，但是若要選擇優(yōu)先級的話，無疑我會選擇先“道”后“術”?！　∫陨纤狞c是寫書前定下的目標，現(xiàn)在書寫完了，也許很多地方不能達到最初的期望，但是盡了力就好。寫書的過程很辛苦，起碼比我原先想象得要辛苦，因為工作繁忙，所以只能每天早早起床，再加上周末及節(jié)假日的時間來完成。也許書中還存在這樣那樣的缺點，但是我可以無愧地說寫這本書是有誠意的。　　這本書是寫給誰的　　如果您是下列人員之一，那么本書就是寫給您的?！　?.對搜索引擎核心算法有興趣的技術人員　　搜索引擎的整體框架是怎樣的？包含哪些核心技術？　　網(wǎng)絡爬蟲的基本架構是什么？常見的爬取策略是什么？什么是暗網(wǎng)爬取？如何構建分布式爬蟲？百度的阿拉丁計劃是什么？　　什么是倒排索引？如何對倒排索引進行數(shù)據(jù)壓縮？　　搜索引擎如何對搜索結果排序？　　什么是向量空間模型？什么是概率模型？什么是BM25模型？什么是機器學習排序？它們之間有何異同？　　PageRank和HITS算法是什么關系？有何異同？SALSA算法是什么？Hilltop算法又是什么？各種鏈接分析算法之間是什么關系？　　如何識別搜索用戶的真實搜索意圖？用戶搜索目的可以分為幾類？什么是點擊圖？什么是查詢會話？相關搜索是如何做到的？　　為什么要對網(wǎng)頁進行去重處理？如何對網(wǎng)頁進行去重？哪種算法效果較好？　　搜索引擎緩存有幾級結構？核心策略是什么？　　什么是情境搜索？什么是社會化搜索？什么是實時搜索？　　搜索引擎有哪些發(fā)展趨勢？　　如果您對三個以上的問題感興趣，那么這本書就是為您而寫的?！　?.對云計算與云存儲有興趣的技術人員　　什么是CAP原理？什么是ACID原理？它們之間有什么異同？　　Google的整套云計算框架包含哪些技術？Hadoop系列和Google的云計算框架是什么關系？　　Google的三駕馬車GFS、BigTable、MapReduce各自代表什么含義？是什么關系？　　Google的咖啡因系統(tǒng)的基本原理是什么？　　Google的Pregel計算模型和MapReduce計算模型有什么區(qū)別？　　Google的Megastore云存儲系統(tǒng)和BigTable是什么關系？　　亞馬遜公司的Dynamo系統(tǒng)是什么？　　雅虎公司的PNUTS系統(tǒng)是什么？　　Facebook公司的Haystack存儲系統(tǒng)適合應用在什么場合？　　如果您對上述問題感興趣，相信可以從書中找到答案?！　?.從事搜索引擎優(yōu)化的網(wǎng)絡營銷人員及中小網(wǎng)站站長　　搜索引擎的反作弊策略是怎樣的？如何進行優(yōu)化避免被認為是作弊？　　搜索引擎如何對搜索結果排序？鏈接分析和內(nèi)容排序是什么關系？　　什么是內(nèi)容農(nóng)場？什么是鏈接農(nóng)場？它們是什么關系？　　什么是Web 2.0作弊？有哪些常見手法？　　什么是SpamRank？什么是TrustRank？什么又是BadRank？它們是什么關系？　　咖啡因系統(tǒng)對網(wǎng)頁排名有何影響？　　最近有一批電子商務網(wǎng)站針對搜索引擎優(yōu)化，結果被Google認為是黑帽SEO而導致搜索排名降權，如何避免這種情況？從事相關行業(yè)的營銷人員和網(wǎng)站站長應該深入了解搜索引擎反作弊的基本策略和方法，甚至是網(wǎng)頁排名算法等搜索引擎核心技術。SEO技術說到底其實很簡單，雖然不斷發(fā)生變化，但是很多原理性的策略總是相似的，萬變不離其宗，深入了解搜索引擎相關技術原理將形成您的行業(yè)競爭優(yōu)勢。　　4.作者自己　　我的記性不太好，往往一段時間內(nèi)了解的技術，時隔幾年后就很模糊了，所以這本書也是為我自己寫的，以作為技術備查手冊。沈利也參與了本書的部分編寫工作?！　埧×帧　?011年6月

內(nèi)容概要

　　搜索引擎作為互聯(lián)網(wǎng)發(fā)展中至關重要的一種應用，已經(jīng)成為互聯(lián)網(wǎng)各個領域的制高點，其重要性不言而喻。搜索引擎領域也是互聯(lián)網(wǎng)應用中不多見的以核心技術作為其命脈的領域，搜索引擎各個子系統(tǒng)是如何設計的？這成為廣大技術人員和搜索引擎優(yōu)化人員密切關注的內(nèi)容。
　　本書的最大特點是內(nèi)容新穎全面而又通俗易懂。對于實際搜索引擎所涉及的各種核心技術都有全面細致的介紹，除了作為搜索系統(tǒng)核心的網(wǎng)絡爬蟲、索引系統(tǒng)、排序系統(tǒng)、鏈接分析及用戶分析外，還包括網(wǎng)頁反作弊、緩存管理、網(wǎng)頁去重技術等實際搜索引擎必須關注的技術，同時用相當大的篇幅講解了云計算與云存儲的核心技術原理。另外，本書也密切關注搜索引擎發(fā)展的前沿技術：Google的咖啡因系統(tǒng)及Megastore等云計算新技術、百度的暗網(wǎng)抓取技術阿拉丁計劃、內(nèi)容農(nóng)場作弊、機器學習排序等。諸多新技術在相關章節(jié)都有詳細講解，同時對于社會化搜索、實時搜索及情境搜索等搜索引擎的未來發(fā)展方向做了技術展望。為了增進讀者的理解，全書大量引入形象的圖片來講解算法原理，相信讀者會發(fā)現(xiàn)原來搜索引擎的核心技術理解起來比原先想象的要簡單得多。

作者簡介

張俊林
    本科畢業(yè)于天津大學管理學院，2004年于中科院軟件所直接獲得博士學位并留所從事科研工作，研究方向為搜索引擎與自然語言處理。2005年在CSDN博客發(fā)布系列博文《搜索引擎設計實用教程：以百度為例》，在網(wǎng)絡上獲得了廣泛轉(zhuǎn)載與良好口碑。2006年作為聯(lián)合創(chuàng)始人建立了智能信息聚合網(wǎng)站“玩聚網(wǎng)”，曾先后于阿里巴巴搜索技術中心任資深搜索技術研究員、房價網(wǎng)首席研究員，現(xiàn)任職于新浪微博，從事微博搜索與語義分析及推薦方面的研發(fā)工作。

書籍目錄

第1章　搜索引擎及其技術架構　
　1.1　搜索引擎為何重要　
　　1.1.1　互聯(lián)網(wǎng)的發(fā)展　
　　1.1.2　商業(yè)搜索引擎公司的發(fā)展　
　　1.1.3　搜索引擎的重要地位　
　1.2　搜索引擎技術發(fā)展史　
　　1.2.1　史前時代：分類目錄的一代　
　　1.2.2　第一代：文本檢索的一代　
　　1.2.3　第二代：鏈接分析的一代　
　　1.2.4　第三代：用戶中心的一代　
　1.3　搜索引擎的3個目標　
　1.4　搜索引擎的3個核心問題　
　　1.4.1　3個核心問題　
　　1.4.2　與技術發(fā)展的關系　
　1.5　搜索引擎的技術架構　
第2章　網(wǎng)絡爬蟲　
　2.1　通用爬蟲框架　
　2.2　優(yōu)秀爬蟲的特性　
　2.3　爬蟲質(zhì)量的評價標準　
　2.4　抓取策略　
　　2.4.1　寬度優(yōu)先遍歷策略（Breath　First）　
　　2.4.2　非完全PageRank策略（Partial　PageRank）　
　　2.4.3　OCIP策略（Online　Page　Importance　Computation）　
　　2.4.4　大站優(yōu)先策略（Larger　Sites　First）　
　2.5　網(wǎng)頁更新策略　
　　2.5.1　歷史參考策略　
　　2.5.2　用戶體驗策略　
　　2.5.3　聚類抽樣策略　
　2.6　暗網(wǎng)抓?。―eep　Web　Crawling）　
　　2.6.1　查詢組合問題　
　　2.6.2　文本框填寫問題　
　2.7　分布式爬蟲　
　　2.7.1　主從式分布爬蟲（Master-Slave）　
　　2.7.2　對等式分布爬蟲（Peer　to　Peer）　
　　本章提要　
　　本章參考文獻　
第3章　搜索引擎索引　
　3.1　索引基礎　
　　3.1.1　單詞—文檔矩陣　
　　3.1.2　倒排索引基本概念　
　　3.1.3　倒排索引簡單實例　
　3.2　單詞詞典　
　　3.2.1　哈希加鏈表　
　　3.2.2　樹形結構　
　3.3　倒排列表（Posting　List）　
　3.4　建立索引　
　　3.4.1　兩遍文檔遍歷法（2-Pass　In-Memory　Inversion）　
　　3.4.2　排序法（Sort-based　Inversion）　
　　3.4.3　歸并法（Merge-based　Inversion）　
　3.5　動態(tài)索引　
　3.6　索引更新策略　
　　3.6.1　完全重建策略（Complete　Re-Build）　
　　3.6.2　再合并策略（Re-Merge）　
　　3.6.3　原地更新策略（In-Place）　
　　3.6.4　混合策略（Hybrid）　
　3.7　查詢處理　
　　3.7.1　一次一文檔（Doc　at　a　Time）　
　　3.7.2　一次一單詞（Term　at　a　Time）　
　　3.7.3　跳躍指針（Skip　Pointers）　
　3.8　多字段索引　
　　3.8.1　多索引方式　
　　3.8.2　倒排列表方式　
　　3.8.3　擴展列表方式（Extent　List）　
　3.9　短語查詢　
　　3.9.1　位置信息索引（Position　Index）　
　　3.9.2　雙詞索引（Nextword　Index）　
　　3.9.3　短語索引（Phrase　Index）　
　　3.9.4　混合方法　
　3.10　分布式索引（Parallel　Indexing）　
　　3.10.1　按文檔劃分（Document　Partitioning）　
　　3.10.2　按單詞劃分（Term　Partitioning）　
　　3.10.3　兩種方案的比較　
　　本章提要　
　　本章參考文獻　
第4章　索引壓縮　
　4.1　詞典壓縮　
　4.2　倒排列表壓縮算法　
　　4.2.1　評價索引壓縮算法的指標　
　　4.2.2　一元編碼與二進制編碼　
　　4.2.3　Elias　Gamma算法與Elias　Delta算法　
　　4.2.4　Golomb算法與Rice算法　
　　4.2.5　變長字節(jié)算法（Variable　Byte）　
　　4.2.6　SimpleX　系列算法　
　　4.2.7　PForDelta算法　
　4.3　文檔編號重排序（DocID　Reordering）　
　4.4　靜態(tài)索引裁剪（Static　Index　Pruning）　
　　4.4.1　以單詞為中心的索引裁剪　
　　4.4.2　以文檔為中心的索引裁剪　
　　本章提要　
　　本章參考文獻　
第5章　檢索模型與搜索排序　
　5.1　布爾模型（Boolean　Model）　
　5.2　向量空間模型（Vector　Space　Model）　
　　5.2.1　文檔表示　
　　5.2.2　相似性計算　
　　5.2.3　特征權重計算　
　5.3　概率檢索模型　
　　5.3.1　概率排序原理　
　　5.3.2　二元獨立模型（Binary　Independent　Model）　
　　5.3.3　BM25模型　
　　5.3.4　BM25F模型　
　5.4　語言模型方法　
　5.5　機器學習排序（Learning　to　Rank）　
　　5.5.1　機器學習排序的基本思路　
　　5.5.2　單文檔方法（PointWise　Approach）　
　　5.5.3　文檔對方法（PairWise　Approach）　
　　5.5.4　文檔列表方法（ListWise　Approach）　
　5.6　檢索質(zhì)量評價標準　
　　5.6.1　精確率與召回率　
　　5.6.2　P@10指標　
　　5.6.3　MAP指標（Mean　Average　Precision）　
　　本章提要　
　　本章參考文獻　
第6章　鏈接分析　
　6.1　Web圖　
　6.2　兩個概念模型及算法之間的關系　
　　6.2.1　隨機游走模型（Random　Surfer　Model）　
　　6.2.2　子集傳播模型　
　　6.2.3　鏈接分析算法之間的關系　
　6.3　PageRank算法　
　　6.3.1　從入鏈數(shù)量到PageRank　
　　6.3.2　PageRank計算　
　　6.3.3　鏈接陷阱（Link　Sink）與遠程跳轉(zhuǎn)（Teleporting）　
　6.4　HITS算法（Hypertext　Induced　Topic　Selection）　
　　6.4.1　Hub頁面與Authority頁面　
　　6.4.2　相互增強關系　
　　6.4.3　HITS算法　
　　6.4.4　HITS算法存在的問題　
　　6.4.5　HITS算法與PageRank算法比較　
　6.5　SALSA算法　
　　6.5.1　確定計算對象集合　
　　6.5.2　鏈接關系傳播　
　　6.5.3　Authority權值計算　
　6.6　主題敏感PageRank（Topic　Sensitive　PageRank）　
　　6.6.1　主題敏感PageRank與PageRank的差異　
　　6.6.2　主題敏感PageRank計算流程　
　　6.6.3　利用主題敏感PageRank構造個性化搜索　
　6.7　Hilltop算法　
　　6.7.1　Hilltop算法的一些基本定義　
　　6.7.2　Hilltop算法　
　6.8　其他改進算法　
　　6.8.1　智能游走模型（Intelligent　Surfer　Model）　
　　6.8.2　偏置游走模型（Biased　Surfer　Model）　
　　6.8.3　PHITS算法（Probability　Analogy　of　HITS）　
　　6.8.4　BFS算法（Backward　Forward　Step）　
　　本章提要　
　　本章參考文獻　
第7章　云存儲與云計算　
　7.1　云存儲與云計算概述　
　　7.1.1　基本假設　
　　7.1.2　理論基礎　
　　7.1.3　數(shù)據(jù)模型　
　　7.1.4　基本問題　
　　7.1.5　Google的云存儲與云計算架構　
　7.2　Google文件系統(tǒng)（GFS）　
　　7.2.1　GFS設計原則　
　　7.2.2　GFS整體架構　
　　7.2.3　GFS主控服務器　
　　7.2.4　系統(tǒng)交互行為　
　7.3　Chubby鎖服務　
　7.4　BigTable　
　　7.4.1　BigTable的數(shù)據(jù)模型　
　　7.4.2　BigTable整體結構　
　　7.4.3　BigTable的管理數(shù)據(jù)　
　　7.4.4　主控服務器（Master　Server）　
　　7.4.5　子表服務器（Tablet　Server）　
　7.5　Megastore系統(tǒng)　
　　7.5.1　實體群組切分　
　　7.5.2　數(shù)據(jù)模型　
　　7.5.3　數(shù)據(jù)讀寫與備份　
　7.6　Map/Reduce云計算模型　
　　7.6.1　計算模型　
　　7.6.2　整體邏輯流程　
　　7.6.3　應用示例　
　7.7　咖啡因系統(tǒng)——Percolator　
　　7.7.1　事務支持　
　　7.7.2　觀察/通知體系結構　
　7.8　Pregel圖計算模型　
　7.9　Dynomo云存儲系統(tǒng)　
　　7.9.1　數(shù)據(jù)劃分算法（Partitioning　Algorithm）　
　　7.9.2　數(shù)據(jù)備份（Replication）　
　　7.9.3　數(shù)據(jù)讀寫　
　　7.9.4　數(shù)據(jù)版本控制　
　7.10　PNUTS云存儲系統(tǒng)　
　　7.10.1　PNUTS整體架構　
　　7.10.2　存儲單元　
　　7.10.3　子表控制器與數(shù)據(jù)路由器　
　　7.10.4　雅虎消息代理　
　　7.10.5　數(shù)據(jù)一致性　
　7.11　HayStack存儲系統(tǒng)　
　　7.11.1　HayStack整體架構　
　　7.11.2　目錄服務　
　　7.11.3　HayStack緩存　
　　7.11.4　HayStack存儲系統(tǒng)　
　　本章提要　
　　本章參考文獻　
第8章　網(wǎng)頁反作弊　
　8.1　內(nèi)容作弊　
　　8.1.1　常見內(nèi)容作弊手段　
　　8.1.2　內(nèi)容農(nóng)場（Content　Farm）　
　8.2　鏈接作弊　
　8.3　頁面隱藏作弊　
　8.4　Web　2.0作弊方法　
　8.5　反作弊技術的整體思路　
　　8.5.1　信任傳播模型　
　　8.5.2　不信任傳播模型　
　　8.5.3　異常發(fā)現(xiàn)模型　
　8.6　通用鏈接反作弊方法　
　　8.6.1　TrustRank算法　
　　8.6.2　BadRank算法　
　　8.6.3　SpamRank　
　8.7　專用鏈接反作弊技術　
　　8.7.1　識別鏈接農(nóng)場　
　　8.7.2　識別Google轟炸　
　8.8　識別內(nèi)容作弊　
　8.9　反隱藏作弊　
　　8.9.1　識別頁面隱藏　
　　8.9.2　識別網(wǎng)頁重定向　
　8.10　搜索引擎反作弊綜合框架　
　　本章提要　
　　本章參考文獻　
第9章　用戶查詢意圖分析　
　9.1　搜索行為及其意圖　
　　9.1.1　用戶搜索行為　
　　9.1.2　用戶搜索意圖分類　
　9.2　搜索日志挖掘　
　　9.2.1　查詢會話（Query　Session）　
　　9.2.2　點擊圖（Click　Graph）　
　　9.2.3　查詢圖（Query　Graph）　
　9.3　相關搜索　
　　9.3.1　基于查詢會話的方法　
　　9.3.2　基于點擊圖的方法　
　9.4　查詢糾錯　
　　9.4.1　編輯距離（Edit　Distance）　
　　9.4.2　噪聲信道模型（Noise　Channel　Model）　
　　本章提要　
　　本章參考文獻　
第10章　網(wǎng)頁去重　
　10.1　通用去重算法框架　
　10.2　Shingling算法　
　10.3　I-Match算法　
　10.4　SimHash算法　
　　10.4.1　文檔指紋計算　
　　10.4.2　相似文檔查找　
　10.5　SpotSig算法　
　　10.5.1　特征抽取　
　　10.5.2　相似文檔查找　
　　本章提要　
　　本章參考文獻　
第11章　搜索引擎緩存機制　
　11.1　搜索引擎緩存系統(tǒng)架構　
　11.2　緩存對象　
　11.3　緩存結構　
　11.4　緩存淘汰策略（Evict　Policy）　
　　11.4.1　動態(tài)策略　
　　11.4.2　混合策略　
　11.5　緩存更新策略（Refresh　Policy）　
　　本章提要　
　　本章參考文獻　
第12章　搜索引擎發(fā)展趨勢　
　12.1　個性化搜索　
　12.2　社會化搜索　
　12.3　實時搜索　
　12.4　移動搜索　
　12.5　地理位置感知搜索　
　12.6　跨語言搜索　
　12.7　多媒體搜索　
　12.8　情境搜索

章節(jié)摘錄

版權頁：插圖：1.1.2 商業(yè)搜索引擎公司的發(fā)展搜索引擎的產(chǎn)生和發(fā)展，與互聯(lián)網(wǎng)的蓬勃發(fā)展這個大背景是密不可分的。在互聯(lián)網(wǎng)發(fā)展初期，一般互聯(lián)網(wǎng)用戶最常用的應用僅是電子郵箱，而隨著WWW相關協(xié)議和產(chǎn)品的逐步成熟，網(wǎng)站擁有者制作和發(fā)布網(wǎng)頁信息的成本急劇下降。而PC電腦及圖形化瀏覽器的普及，使得普通用戶瀏覽信息成本急劇降低。再加上網(wǎng)絡基礎設施的大量投入，使得帶寬等不斷加大。這幾個因素交互作用，導致互聯(lián)網(wǎng)上的信息產(chǎn)生爆炸性增長。在信息量快速增長的情況下，如何能夠找到滿足用戶需求的網(wǎng)頁內(nèi)容就日益成為越來越重要的問題。信息增長速度越快，用戶需求越迫切。大的搜索引擎公司就是在這個用戶需求背景下，從建立到逐步壯大，乃至發(fā)展到今天搜索引擎成為最重要的互聯(lián)網(wǎng)的應用。1995年是搜索引擎商業(yè)公司發(fā)展的重要起點，其對應的背景是：互聯(lián)網(wǎng)上的Web站點數(shù)量首次超過100萬，此時普通用戶已經(jīng)無法依賴手工瀏覽的方式來獲得自己想要的信息。在這一年產(chǎn)生了很多風云一時的早期搜索引擎公司。Yahoo、InfoSeek、FastSearch、AltaVista、Excite等曾經(jīng)非常著名的搜索引擎公司都創(chuàng)建于1995年。Yahoo依靠人工編輯導航目錄，將互聯(lián)網(wǎng)上重要的站點分門別類整理好，滿足了人們查找重要網(wǎng)站的需求，可謂應時而生，從此快速成長為最著名的搜索和門戶網(wǎng)站。其他搜索引擎公司則提供基于傳統(tǒng)信息檢索系統(tǒng)的搜索服務，也都獲得了快速成長。隨著互聯(lián)網(wǎng)的進一步快速發(fā)展，信息的爆炸性增長，已有的搜索引擎服務提供商所提供的搜索服務質(zhì)量并無大的改善，逐漸不能滿足用戶的需求。Google于1998年成立，以PageRank鏈接分析等新技術大幅度提高了搜索質(zhì)量，之后高速發(fā)展并搶占了絕大多數(shù)搜索引擎市場，成長為目前最重要的互聯(lián)網(wǎng)公司之一。百度則依靠本地化優(yōu)勢，成為中國國內(nèi)最強勢的搜索引擎服務提供商。盡管2000年后陸續(xù)有大小公司進入搜索市場，但是無論從技術角度還是市場份額角度，搜索市場格局并未發(fā)生太大變化。

編輯推薦

《這就是搜索引擎:核心技術詳解》適合三類人：對搜索引擎核心算法有興趣的技術人員、對云計算與云存儲有興趣的技術人員、從事搜索引擎優(yōu)化的網(wǎng)絡營銷人員及中小網(wǎng)站站長。

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    這就是搜索引擎 PDF格式下載

---