搜索引擎

前言

本書綜述了信息檢索中的重要問題，并介紹了這些問題如何對搜索引擎的設(shè)計與實現(xiàn)產(chǎn)生影響。本書并不是按照相同的詳細程度描述每個主題，相反，我們側(cè)重于那些對于實現(xiàn)搜索引擎組件以及組件背后的信息檢索模型最重要的部分。網(wǎng)絡(luò)搜索引擎顯然是一個重要的話題，我們主要覆蓋了在網(wǎng)絡(luò)上使用的搜索技術(shù)，但搜索引擎在其他場合中也有應(yīng)用，這就是為什么我們重點強調(diào)各種搜索引擎背后的信息檢索理論與概念的原因。本書的目標讀者群主要是計算機科學(xué)或計算機工程的本科生，但研究生也會發(fā)現(xiàn)本書是有用的，此外，本書也適合多數(shù)情報科學(xué)專業(yè)的學(xué)生。最后，無論讀者是什么背景，通過閱讀本書都可以對他們動手開發(fā)搜索引擎有所幫助。本書中涉及數(shù)學(xué)知識，但并不深奧。’書中也有代碼和程序設(shè)計的練習(xí)，但對于那些已經(jīng)完成了基本計算機科學(xué)與程序設(shè)計課程的人來說，完全可以掌握。每章末尾的練習(xí)使用了被稱為Galago的基于Java的開源搜索引擎。Galago既是為本書所設(shè)計的，也借鑒了Lemur和Indri項目的經(jīng)驗。換句話說，這是一個功能齊全的能夠支持真正應(yīng)用的搜索引擎。許多編程練習(xí)都是針對Galago組件的使用、修改和擴展。內(nèi)容在第1章，我們對信息檢索及它與搜索引擎的關(guān)系做了一個高層次的回顧。在第2章，我們描述了搜索引擎的架構(gòu)，這一章全面介紹搜索引擎的各個組件，但沒有涉及細節(jié)問題。在第3章，我們關(guān)注于爬取、文檔信息源和其他用于獲取被檢索信息的技術(shù)。第4章描述了文本的統(tǒng)計特征，以及用來處理和識別重要特征的技術(shù)，并為建立索引做準備。第5章描述了怎樣為有效的搜索建立索引，以及怎樣利用索引處理查詢。在第6章，我們描述了怎樣處理查詢，并把它們轉(zhuǎn)換為更好的形式，以表達用戶的信息需求。

內(nèi)容概要

　　本書介紹了信息檢索（IR）中的關(guān)鍵問題，以及這些問題如何影響搜索引擎的設(shè)計與實現(xiàn)，并且用數(shù)學(xué)模型強化了重要的概念。對于網(wǎng)絡(luò)搜素引擎這一重要的話題，書中主要涵蓋了在網(wǎng)絡(luò)上廣泛使用的搜索技術(shù)?！　”緯m用于高等院校計算機科學(xué)或計算機工程專業(yè)的本科生、研究生，對于專業(yè)人士而言，本書也不失為一本理想的入門教材。

作者簡介

作者：（美國）克羅夫特（W.Bruce Croft） （美國）Donald Metzler （美國）Trevor Strohman 譯者：劉挺 秦兵 張宇 等克羅夫特（W.Bruce Croft），馬薩諸塞大學(xué)阿默斯特分校計算機科學(xué)特聘教授、ACM會士。他創(chuàng)建了智能信息檢索研究中心，發(fā)表了200余篇論文，多次獲獎，其中包括2003年由ACM SIGIR頒發(fā)的Gerard Salton獎。Donald Metzler，馬薩諸塞大學(xué)阿默斯特分校博士，是位于加州Santa Clara的雅虎研究中心搜索與計算機廣告組的研究科學(xué)家。Trevor Strohman，馬薩諸塞大學(xué)阿默斯特分校博士。他開發(fā)了Galago搜索引擎，也是Indri搜索引擎的主要開發(fā)者。

書籍目錄

出版者的話 譯者序 前言 第1章 搜索引擎和信息檢索  　1.1 什么是信息檢索  　1.2 重要問題  　1.3 搜索引擎  　1.4 搜索工程師  　參考文獻和深入閱讀  　練習(xí)  第2章 搜索引擎的架構(gòu)  　2.1 什么是軟件架構(gòu)  　2.2 基本的構(gòu)件  　2.3 組件及其功能  　　2.3.1 文本采集  　　2.3.2 文本轉(zhuǎn)換  　　2.3.3 索引的創(chuàng)建  　　2.3.4 用戶交互  　　2.3.5 排序  　　2.3.6 評價  　2.4 搜索引擎是如何工作的  　參考文獻和深入閱讀  　練習(xí)  第3章 信息采集和信息源  　3.1 確定搜索的內(nèi)容  　3.2 網(wǎng)絡(luò)信息爬取  　　3.2.1 抓取網(wǎng)頁  　　3.2.2 網(wǎng)絡(luò)爬蟲  　　3.2.3 時新性  　　3.2.4 面向主題的信息采集  　　3.2.5 深層網(wǎng)絡(luò)  　　3.2.6 網(wǎng)站地圖  　　3.2.7 分布式信息采集  　3.3 文檔和電子郵件的信息采集  　3.4 文檔信息源  　3.5 轉(zhuǎn)換問題  　3.6 存儲文檔  　　3.6.1 使用數(shù)據(jù)庫系統(tǒng)  　　3.6.2 隨機存取  　　3.6.3 壓縮和大規(guī)模文件  　　3.6.4 更新  　　　3.6.5 BigTable  　3.7 重復(fù)檢測  　3.8 去除噪聲  　參考文獻和深入閱讀  　練習(xí)  第4章 文本處理  　4.1 從詞到詞項  　4.2 文本統(tǒng)計  　　4.2.1 詞表增長  　　4.2.2 估計數(shù)據(jù)集和結(jié)果集大小  　4.3 文檔解析  　　4.3.1 概述  　　4.3.2 詞素切分  　　4.3.3 停用詞去除  　　4.3.4 詞干提取  　　4.3.5 短語和n元串  　4.4 文檔結(jié)構(gòu)和標記  　　4.5 鏈接分析  　　4.5.1 錨文本  　　4.5.2 PageRank  　　4.5.3 鏈接質(zhì)量  　4.6 信息抽取  　4.7 國際化  　參考文獻和深入閱讀  　練習(xí)  第5章 基于索引的相關(guān)排序  　5.1 概述  　5.2 抽象的相關(guān)排序模型  　5.3 倒排索引  　　5.3.1 文檔  　　5.3.2 計數(shù)  　　5.3.3 位置  　　5.3.4 域與范圍  　　5.3.5 分數(shù)  　　5.3.6 排列  　5.4 壓縮  　　5.4.1 熵與歧義  　　5.4.2 Delta編碼  　　5.4.3 位對齊碼  　　5.4.4 字節(jié)對齊碼  　　5.4.5 實際應(yīng)用中的壓縮  　　5.4.6 展望  　　5.4.7 跳轉(zhuǎn)和跳轉(zhuǎn)指針  　5.5 輔助結(jié)構(gòu)  　5.6 索引構(gòu)建  　　5.6.1 簡單構(gòu)建  　　5.6.2 融合  　　5.6.3 并行與分布式  　　5.6.4 更新  　5.7 查詢處理  　　5.7.1 document-at-a-time評價  　　5.7.2 term-at-a-time評價  　　5.7.3 優(yōu)化技術(shù)  　　5.7.4 結(jié)構(gòu)化查詢  　　5.7.5 分布式的評價  　　5.7.6 緩存  　參考文獻和深入閱讀  　練習(xí)  第6章 查詢與界面  　6.1 信息需求與查詢  　6.2 查詢轉(zhuǎn)換與提煉  　　6.2.1 停用詞去除和詞干提取  　　6.2.2 拼寫檢查和建議  　　6.2.3 查詢擴展  　　6.2.4 相關(guān)反饋  　　6.2.5 上下文和個性化  　6.3 搜索結(jié)果顯示  　　6.3.1 搜索結(jié)果頁面與頁面摘要  　　6.3.2 廣告與搜索  　　6.3.3 結(jié)果聚類  　6.4 跨語言搜索  　參考文獻和深入閱讀  　練習(xí)  第7章 檢索模型  　7.1 檢索模型概述  　　7.1.1 布爾檢索  　　7.1.2 向量空間模型  　7.2 概率模型  　　7.2.1 將信息檢索作為分類問題  　　7.2.2 BM25排序算法  　7.3 基于排序的語言模型  　　7.3.1 查詢項似然排序  　　7.3.2 相關(guān)性模型和偽相關(guān)反饋  　7.4 復(fù)雜查詢和證據(jù)整合  　　7.4.1 推理網(wǎng)絡(luò)模型  　　7.4.2 Galago查詢語言  　7.5 網(wǎng)絡(luò)搜索  　7.6 機器學(xué)習(xí)和信息檢索  　　7.6.1 排序?qū)W習(xí)  　　7.6.2 主題模型和詞匯不匹配  　7.7 基于應(yīng)用的模型  　參考文獻和深入閱讀  　練習(xí)  第8章 搜索引擎評價  　8.1 搜索引擎評價的意義  　8.2 評價語料  　8.3 日志  　8.4 效果評價  　　8.4.1 召回率和準確率  　　8.4.2 平均化和插值  　　8.4.3 關(guān)注排序靠前的文檔  　　8.4.4 使用用戶偏好  　8.5 效率評價  　8.6 訓(xùn)練、測試和統(tǒng)計  　　8.6.1 顯著性檢驗  　　8.6.2 設(shè)置參數(shù)值  　　8.6.3 在線測試  　8.7 基本要點  　參考文獻和深入閱讀  　練習(xí)  第9章 分類和聚類  　9.1 分類  　　9.1.1 樸素貝葉斯  　　9.1.2 支持向量機  　　9.1.3 評價  　　9.1.4 分類器和特征選擇  　　9.1.5 垃圾、情感及在線廣告  　9.2 聚類  　　9.2.1 層次聚類和K均值聚類  　　9.2.2 K近鄰聚類  　　9.2.3 評價  　　9.2.4 如何選擇K  　　9.2.5 聚類和搜索  　參考文獻和深入閱讀  　練習(xí)  第10章 社會化搜索  　10.1 什么是社會化搜索  　10.2 用戶標簽和人工索引  　　10.2.1 搜索標簽  　　10.2.2 推測缺失的標簽  　　10.2.3 瀏覽和標簽云  　10.3 社區(qū)內(nèi)搜索  　　10.3.1 什么是社區(qū)  　　10.3.2 社區(qū)發(fā)現(xiàn)  　　10.3.3 基于社區(qū)的問答  　　10.3.4 協(xié)同搜索  　10.4 過濾和推薦  　　10.4.1 文檔過濾  　　10.4.2 協(xié)同過濾  　10.5 P2P搜索和元搜索  　　10.5.1 分布式搜索  　　10.5.2 P2P網(wǎng)絡(luò)  　參考文獻和深入閱讀  　練習(xí)  第11章 超越詞袋  　11.1 概述  　11.2 基于特征的檢索模型  　11.3 詞項依賴模型  　11.4 再談結(jié)構(gòu)化  　　11.4.1 XML檢索  　　11.4.2 實體搜索  　11.5 問題越長，答案越好  　11.6 詞語、圖片和音樂  　11.7 搜索能否適用于所有情況  　參考文獻和深入閱讀  　練習(xí)  參考文獻

章節(jié)摘錄

插圖：2.查詢轉(zhuǎn)換查詢轉(zhuǎn)換組件包括一系列的技術(shù)，這些技術(shù)用于在生成排好序的文檔之前和之后改善初始查詢。最簡單的處理涉及一些對文檔進行文本轉(zhuǎn)換的技術(shù)。在查詢文本上，需要進行詞素切分、停用詞去除和詞干提取這些工作，以生成與文檔詞項具有可比性的索引詞。拼寫檢查（spell checking）和查詢建議（query suggestion）是查詢轉(zhuǎn)換中的技術(shù)，生成與用戶初始查詢相似的輸出。在這兩種情況下，向用戶提供初始查詢的一些候選查詢，這些候選查詢可能糾正了拼寫錯誤或者是對用戶所需信息的更規(guī)范的描述。這些技術(shù)通常會導(dǎo)致為網(wǎng)絡(luò)應(yīng)用搜集大量的查詢?nèi)罩荆╭uery log）。查詢擴展（query expansion）技術(shù)是對查詢進行推薦或者增加一些額外的詞項，但通常都是在對文檔中詞項的出現(xiàn)情況分析的基礎(chǔ)上進行的。該分析通常是用不同的信息源，如整個文檔集合、檢索到的文檔或者用戶計算機上的文檔。相關(guān)反饋（relevance feedback）是一種查詢擴展技術(shù)，利用用戶認為相關(guān)的文檔中出現(xiàn)的詞項對查詢進行擴展。3.結(jié)果輸出結(jié)果輸出組件負責對相關(guān)組件得到的排好序的文檔的結(jié)果進行顯示?？赡馨娜蝿?wù)有生成網(wǎng)頁摘要（snippets）來對檢索到的文檔內(nèi)容進行概括；強調(diào)（highlighting）文檔中重要的詞和段落；對輸出結(jié)果聚類以找到文檔相關(guān)的類別；以及將相應(yīng)的廣告增加到結(jié)果顯示中。在涉及多種語言的應(yīng)用系統(tǒng)中，結(jié)果可能會被翻譯成同一種的語言。

編輯推薦

《搜索引擎:信息檢索實踐》：計算機科學(xué)叢書

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    搜索引擎 PDF格式下載

---