海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理與設(shè)計(jì)

前言

　　當(dāng)前，人類社會(huì)活動(dòng)越來越依賴于各種數(shù)字化信息。無論是個(gè)人的數(shù)據(jù)資料、企事業(yè)單位核心運(yùn)營數(shù)據(jù)（學(xué)生提交的作業(yè)、科研工作者撰寫的技術(shù)文檔、多媒體娛樂文件等，以及工廠的資源管理系統(tǒng)和生產(chǎn)調(diào)度系統(tǒng)、企業(yè)交易系統(tǒng)等），還是保證國家和社會(huì)正常運(yùn)轉(zhuǎn)的文件（社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù)、個(gè)人和企業(yè)的檔案稅收記錄等），都離不開各種海量信息數(shù)據(jù)的存儲(chǔ)、處理和傳輸。一個(gè)觀察到的現(xiàn)象是，社會(huì)中數(shù)據(jù)總量增長速度正比于當(dāng)前社會(huì)信息化的程度，這說明數(shù)據(jù)總量是按指數(shù)形式增長，過去幾十年的歷史數(shù)據(jù)也證實(shí)了這一點(diǎn)，并在短時(shí)期內(nèi)還沒有發(fā)現(xiàn)什么因素能夠延緩這種數(shù)據(jù)量的增長速度。因此，數(shù)據(jù)爆炸式增長，并且其重要性不斷增加是客觀的，這對于存放數(shù)據(jù)的存儲(chǔ)系統(tǒng)提出了巨大的挑戰(zhàn)?！　‰m然在過去幾十年中，存儲(chǔ)設(shè)備的性能和容量得到極大的提高，但在性能方面它還趕不上處理器和網(wǎng)絡(luò)的性能增長速度；在容量和可用性方面單設(shè)備也依然難以滿足應(yīng)用的需求。因此，使用系統(tǒng)的方法提高存儲(chǔ)系統(tǒng)的性能、容量和可用性成為必然趨勢。與傳統(tǒng)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)相比，當(dāng)前存儲(chǔ)系統(tǒng)不再僅僅被看做主機(jī)的外圍I/O設(shè)備，而是具有高性能處理、存儲(chǔ)和網(wǎng)絡(luò)傳輸部件的獨(dú)立計(jì)算機(jī)系統(tǒng)，能夠提供高質(zhì)量的數(shù)據(jù)存儲(chǔ)服務(wù)，這也導(dǎo)致最近10年以來，數(shù)據(jù)存儲(chǔ)系統(tǒng)及其相關(guān)技術(shù)受到越來越多的研究者、市場和用戶的關(guān)注?！　『Ａ烤W(wǎng)絡(luò)存儲(chǔ)系統(tǒng)由于能夠在系統(tǒng)層面包含各種存儲(chǔ)部件并融合多種存儲(chǔ)技術(shù)，提供高性價(jià)比的存儲(chǔ)服務(wù)成為當(dāng)前研究和應(yīng)用的焦點(diǎn)。一般而言，海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)主要采用高速網(wǎng)絡(luò)技術(shù)連接多個(gè)存儲(chǔ)設(shè)備或者存儲(chǔ)節(jié)點(diǎn)，使之能夠存儲(chǔ)海量的數(shù)字化信息，也就是說，高速網(wǎng)絡(luò)互聯(lián)是手段，高效組織是核心，海量數(shù)據(jù)存儲(chǔ)是目的。本書從設(shè)計(jì)者的角度討論高性能、高可用性和高安全性的海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)及其部件的設(shè)計(jì)原則、評價(jià)方法、研究手段和實(shí)現(xiàn)方法，同時(shí)針對一些典型系統(tǒng)和技術(shù)給出相應(yīng)的設(shè)計(jì)實(shí)例?！　”緯w分為三個(gè)部分：首先，從存儲(chǔ)系統(tǒng)整體上高度分析了存儲(chǔ)系統(tǒng)的層次性物理與邏輯結(jié)構(gòu)、各種標(biāo)準(zhǔn)存儲(chǔ)接口、存取路徑及其常用的設(shè)計(jì)評價(jià)原則和方法；其次，從設(shè)備、單節(jié)點(diǎn)系統(tǒng)和大規(guī)模存儲(chǔ)系統(tǒng)三個(gè)層次分別討論基本原理和概念、當(dāng)前的國內(nèi)外狀況、設(shè)計(jì)和評價(jià)方法，然后給出詳細(xì)的設(shè)計(jì)實(shí)例；最后，針對海量存儲(chǔ)系統(tǒng)中的實(shí)際功能需求討論了若干關(guān)鍵問題，包括海量存儲(chǔ)系統(tǒng)可靠性和可用性，存取安全和連續(xù)數(shù)據(jù)保護(hù)等，在每個(gè)專題中給出一些具體的設(shè)計(jì)優(yōu)化和實(shí)現(xiàn)方案的例子?！　”緯淖髡邚睦碚摵蛯?shí)踐兩個(gè)方面，全面系統(tǒng)地對海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)各個(gè)方面的問題進(jìn)行深入分析和討論，并結(jié)合自身的科研成果以實(shí)例的方式細(xì)致描述存儲(chǔ)系統(tǒng)的研究手段、實(shí)現(xiàn)方式和整體思路?？紤]到存儲(chǔ)領(lǐng)域，特別是海量網(wǎng)絡(luò)存儲(chǔ)領(lǐng)域，國內(nèi)外都缺乏能夠理論結(jié)合實(shí)際的資料，相信本書能讓廣大讀者加深理解網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的運(yùn)行機(jī)制和特點(diǎn)，并能為存儲(chǔ)系統(tǒng)研究、開發(fā)和產(chǎn)業(yè)發(fā)展提供一定幫助。　　本書共分為9章，其中第1，2，5，6，8，9章由曹強(qiáng)撰寫，第4，7章由黃建忠撰寫，第3章由萬繼光撰寫，全書由謝長生統(tǒng)稿。博士生李紅艷、劉洋和陳云亮對書中文字和內(nèi)容進(jìn)行錄入、編排，吳晨濤、吳丹璐繪制了書中部分圖表，在此一并表示感謝。在成書過程中得到了華中科技大學(xué)計(jì)算機(jī)學(xué)院和武漢光電國家實(shí)驗(yàn)室（籌）領(lǐng)導(dǎo)以及師生的熱心支持，書中使用了大量的所在研究組的資料，在此謹(jǐn)以衷心的謝意?！　∮捎谧髡咚接邢?，書中難免存在不足之處，敬請讀者批評指正。

內(nèi)容概要

　　本書的作者從理論和實(shí)踐兩個(gè)方面，全面系統(tǒng)地對海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)各個(gè)方面的問題進(jìn)行深入分析和討論，并結(jié)合自身的科研成果以實(shí)例的方式細(xì)致描述存儲(chǔ)系統(tǒng)的研究手段、實(shí)現(xiàn)方式和整體思路。全書整體分為三個(gè)部分：首先，從存儲(chǔ)系統(tǒng)整體上高度分析了存儲(chǔ)系統(tǒng)的層次性物理與邏輯結(jié)構(gòu)、各種標(biāo)準(zhǔn)存儲(chǔ)接口、存取路徑及其常用的設(shè)計(jì)評價(jià)原則和方法；其次，從設(shè)備、單節(jié)點(diǎn)系統(tǒng)和大規(guī)模存儲(chǔ)系統(tǒng)三個(gè)層次分別討論基本原理和概念、當(dāng)前的國內(nèi)外狀況、設(shè)計(jì)和評價(jià)方法，然后給出詳細(xì)的設(shè)計(jì)實(shí)例；最后，針對海量存儲(chǔ)系統(tǒng)中的實(shí)際功能需求討論了若干關(guān)鍵問題，包括海量存儲(chǔ)系統(tǒng)可靠性和可用性，存取安全和連續(xù)數(shù)據(jù)保護(hù)等，在每個(gè)專題中給出一些具體的設(shè)計(jì)優(yōu)化和實(shí)現(xiàn)方案的例子。該書可供各大專院校作為教材使用，也可供從事相關(guān)工作的人員作為參考用書使用。

書籍目錄

第1章　存儲(chǔ)系統(tǒng)設(shè)計(jì)原理1.1　應(yīng)用需求1.1.1　數(shù)據(jù)量增長1.1.2　數(shù)據(jù)的價(jià)值1.2　計(jì)算機(jī)存儲(chǔ)系統(tǒng)1.2.1　計(jì)算機(jī)存儲(chǔ)系統(tǒng)概述1.2.2　存儲(chǔ)結(jié)構(gòu)的發(fā)展1.3　評價(jià)指標(biāo)和功能需求1.3.1　評價(jià)指標(biāo)1.3.2　功能需求1.3.3　典型系統(tǒng)1.4　存取路徑和接口1.4.1　存取接口1.4.2　存取路徑1.5　存儲(chǔ)空間組織和管理1.5.1　存儲(chǔ)空間的基本概念1.5.2　存儲(chǔ)空間和主機(jī)的關(guān)系1.5.3　存儲(chǔ)空間的合并1.5.4　存儲(chǔ)空間的可用性1.5.5　存儲(chǔ)系統(tǒng)的層次結(jié)構(gòu)1.5.6　存儲(chǔ)虛擬化1.6　設(shè)計(jì)方法1.6.1　測試方法1.6.2　系統(tǒng)仿真1.6.3　優(yōu)化方法1.7　本章小結(jié)參考文獻(xiàn)第2章　基本存儲(chǔ)設(shè)備2.1　磁盤2.1.1　發(fā)展歷史2.1.2　原理和結(jié)構(gòu)2.1.3　數(shù)據(jù)布局和接口2.1.4　存取特性2.1.5　磁盤調(diào)度2.2　固態(tài)盤2.2.1　原理和結(jié)構(gòu)2.2.2　存取特性2.2.3　軟件系統(tǒng)2.3　磁帶2.3.1　原理和結(jié)構(gòu)2.3.2　存取特性2.3.3　磁帶庫系統(tǒng)優(yōu)化技術(shù)2.4　光盤2.4.1　原理和結(jié)構(gòu)2.4.2　存取特性2.5　其他存儲(chǔ)機(jī)制和設(shè)備2.5.1　體全息光盤2.5.2　相變存儲(chǔ)器2.5.3　MEMS設(shè)備2.6　本章小結(jié)參考文獻(xiàn)第3章　磁盤陣列3.1　基本原理3.1.1　RAID級別3.1.2　RAID實(shí)現(xiàn)方式3.1.3　RAID快照技術(shù)3.2　RAID系統(tǒng)設(shè)計(jì)3.2.1　RAID控制器硬件設(shè)計(jì)3.2.2　RAID核心控制軟件3.3　磁盤陣列系統(tǒng)性能評價(jià)3.3.1　磁盤陣列硬件瓶頸分析3.3.2　PCI傳輸瓶頸及優(yōu)化3.3.3　內(nèi)存訪問瓶頸及優(yōu)化3.3.4　CPU運(yùn)算瓶頸及優(yōu)化3.3.5　硬件性能評估結(jié)論3.4　磁盤陣列在線擴(kuò)容技術(shù)3.4.1　磁盤陣列擴(kuò)容的一般實(shí)現(xiàn)過程3.4.2　擴(kuò)容過程中數(shù)據(jù)遷移的研究3.4.3　基于控制理論的分組分區(qū)遷移策略3.5　多協(xié)議磁盤陣列技術(shù)3.5.1　外存儲(chǔ)設(shè)備接口協(xié)議3.5.2　存儲(chǔ)整合3.5.3　多協(xié)議磁盤陣列系統(tǒng)結(jié)構(gòu)3.6　磁盤陣列預(yù)警技術(shù)3.6.1　當(dāng)前應(yīng)用需求現(xiàn)狀3.6.2　國內(nèi)外相關(guān)技術(shù)研究現(xiàn)狀3.6.3　基于安全預(yù)警技術(shù)的RAID系統(tǒng)設(shè)計(jì)3.7　當(dāng)前陣列的研究熱點(diǎn)3.7.1　綠色存儲(chǔ)簡介3.7.2　陣列級節(jié)能技術(shù)3.8　本章小結(jié)參考文獻(xiàn)第4章　對象存儲(chǔ)系統(tǒng)研究4.1　引言4.1.1　對象存儲(chǔ)技術(shù)產(chǎn)生的背景4.1.2　常用網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)4.1.3　對象存儲(chǔ)帶來的變化4.1.4　對象存儲(chǔ)的研究內(nèi)容4.2　對象存儲(chǔ)設(shè)備的指令集4.2.1　SCSI命令集的擴(kuò)展4.2.2　OSDT10的屬性頁4.2.3　屬性列表4.2.4　對象擴(kuò)展屬性頁4.3　對象存儲(chǔ)文件系統(tǒng)4.3.1　分布式文件系統(tǒng)4.3.2　對象文件系統(tǒng)的設(shè)計(jì)思路4.3.3　采用OSD的對象文件系統(tǒng)4.4　存儲(chǔ)服務(wù)質(zhì)量4.4.1　存儲(chǔ)服務(wù)質(zhì)量的研究意義4.4.2　QoS系統(tǒng)結(jié)構(gòu)4.4.3　QoSS的實(shí)施要素4.4.4　面向QoSS的屬性管理模型AM-M4.4.5　基于屬性管理的流媒體QoS保證4.5　一種基于屬性控制的對象存儲(chǔ)文件系統(tǒng)4.5.1　對象熱度擴(kuò)展屬性頁4.5.2　文件系統(tǒng)設(shè)計(jì)4.5.3　基于屬性管理的應(yīng)用原型總體設(shè)計(jì)4.5.4　應(yīng)用原型客戶端的設(shè)計(jì)4.5.5　應(yīng)用原型存儲(chǔ)端的設(shè)計(jì)4.5.6　性能評估與分析4.6　本章小結(jié)參考文獻(xiàn)第5章　大規(guī)模網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)5.1　概述5.1.1　存儲(chǔ)域5.1.2　存儲(chǔ)域的系統(tǒng)結(jié)構(gòu)和功能需要5.1.3　基于網(wǎng)絡(luò)的文件系統(tǒng)5.2　典型分布式文件系統(tǒng)5.2.1　PVFS5.2.2　Lustre文件系統(tǒng)5.2.3　Panasas文件系統(tǒng)5.2.4　GPFS5.2.5　GoogleFS5.2.6　Hadoop分布式文件系統(tǒng)5.2.7　分布式文件系統(tǒng)評價(jià)5.3　DNFS系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)5.3.1　DNFS系統(tǒng)結(jié)構(gòu)5.3.2　DNFS實(shí)現(xiàn)方法5.3.3　測試與分析5.4　本章小結(jié)參考文獻(xiàn)第6章　可靠性和可用性研究6.1　可靠性概述6.1.1　背景6.1.2　可靠性和可用性6.2　容錯(cuò)機(jī)制6.2.1　容錯(cuò)機(jī)制的分類6.2.2　容錯(cuò)機(jī)制的層次分析6.3　可靠性研究6.3.1　磁盤失效數(shù)據(jù)6.3.2　磁盤陣列的可靠性結(jié)構(gòu)和模型6.3.3　集群存儲(chǔ)系統(tǒng)的可靠性結(jié)構(gòu)和模型6.3.4　Monte Carlo法模擬系統(tǒng)運(yùn)行6.4　集群存儲(chǔ)系統(tǒng)的容錯(cuò)機(jī)制6.4.1　集群存儲(chǔ)系統(tǒng)容錯(cuò)一6.4.2　糾刪碼的選擇6.4.3　LDPC編碼6.4.4　系統(tǒng)實(shí)現(xiàn)6.4.5　性能評估6.5　本章小結(jié)參考文獻(xiàn)第7章　存儲(chǔ)安全性研究7.1　引言7.2　存儲(chǔ)安全研究現(xiàn)狀7.2.1　現(xiàn)有原型系統(tǒng)7.2.2　現(xiàn)有研究的分析7.2.3　存儲(chǔ)安全研究范疇7.3　存儲(chǔ)安全的一般性原理7.3.1　怎樣研究網(wǎng)絡(luò)存儲(chǔ)安全7.3.2　存儲(chǔ)安全的三大特征7.3.3　安全存儲(chǔ)數(shù)據(jù)通道7.3.4　服務(wù)獨(dú)立的存儲(chǔ)安全服務(wù)模型7.3.5　安全訪問協(xié)議7.4　典型存儲(chǔ)安全案例研究7.4.1　存儲(chǔ)設(shè)備的安全性7.4.2　常用存儲(chǔ)系統(tǒng)的安全性7.4.3　對象存儲(chǔ)安全性研究7.4.4　大規(guī)模存儲(chǔ)系統(tǒng)及其安全性7.5　本章小結(jié)參考文獻(xiàn)第8章　連續(xù)數(shù)據(jù)保護(hù)8.1　連續(xù)數(shù)據(jù)保護(hù)技術(shù)8.1.1　數(shù)據(jù)恢復(fù)的技術(shù)指標(biāo)8.1.2　數(shù)據(jù)恢復(fù)級別8.2　ST-CDP機(jī)制8.2.1　當(dāng)前CDP機(jī)制存在的問題8.2.2　數(shù)據(jù)記錄8.2.3　數(shù)據(jù)恢復(fù)8.3　量化分析模型8.4　機(jī)制實(shí)現(xiàn)8.4.1　系統(tǒng)架構(gòu)8.4.2　機(jī)制實(shí)現(xiàn)的相關(guān)問題8.4.3　工作流程8.4.4　設(shè)計(jì)方法改進(jìn)8.5　實(shí)驗(yàn)分析8.5.1　測試環(huán)境設(shè)置8.5.2　測試結(jié)果與分析8.6　本章小結(jié)參考文獻(xiàn)第9章　網(wǎng)絡(luò)存儲(chǔ)備份系統(tǒng)9.1　復(fù)制和鏡像技術(shù)9.2　備份系統(tǒng)概述9.3　備份系統(tǒng)基本結(jié)構(gòu)9.4　典型網(wǎng)絡(luò)備份系統(tǒng)的設(shè)計(jì)9.4.1　網(wǎng)絡(luò)備份系統(tǒng)的結(jié)構(gòu)與業(yè)務(wù)邏輯9.4.2　網(wǎng)絡(luò)備份系統(tǒng)的軟件設(shè)計(jì)9.4.3　網(wǎng)絡(luò)備份系統(tǒng)性能測試9.5　本章小結(jié)參考文獻(xiàn)附錄　存儲(chǔ)安全的相關(guān)術(shù)語表

章節(jié)摘錄

　　具體來說，文件為用戶提供一個(gè)高層抽象，數(shù)據(jù)塊提供快速、可擴(kuò)展的數(shù)據(jù)訪問途徑，使數(shù)據(jù)可以在不同的操作系統(tǒng)平臺(tái)之問安全地共享，但必須經(jīng)過文件服務(wù)器進(jìn)行I／O認(rèn)證和元數(shù)據(jù)管理，其性能受到很大的限制。對象具有文件和數(shù)據(jù)塊兩種技術(shù)的優(yōu)點(diǎn)，對象是存儲(chǔ)的原子單位，可以直接訪問存儲(chǔ)設(shè)備的對象而不需要另外的服務(wù)器，從而得到性能優(yōu)勢；同時(shí)訪問對象的應(yīng)用也要通過必要的元數(shù)據(jù)，容易實(shí)現(xiàn)對象的跨平臺(tái)訪問。對象存儲(chǔ)在接口、屬性、安全性和智能性等方面帶來了新的變化?！　SD的接口與文件系統(tǒng)非常類似。已經(jīng)證明文件接口是易于理解和標(biāo)準(zhǔn)化（CIFS和NFS）的，便于不同平臺(tái)之間的共享。傳統(tǒng)的文件系統(tǒng)可以分為兩部分：用戶部分和存儲(chǔ)部分。用戶部分負(fù)責(zé)向用戶應(yīng)用程序提供一些邏輯的數(shù)據(jù)結(jié)構(gòu)，存儲(chǔ)部分負(fù)責(zé)物理磁盤上具體數(shù)據(jù)塊的組織。在對象的存儲(chǔ)中，文件系統(tǒng)中的用戶組件部分基本保持不變，而將文件系統(tǒng)中的存儲(chǔ)組件部分下移到智能存儲(chǔ)設(shè)備，于是用戶對于存儲(chǔ)設(shè)備的訪問接口由傳統(tǒng)的塊接口變?yōu)閷ο蠼涌?，這一概念如圖4-7所示。該接口也易于擴(kuò)充，通過針對應(yīng)用的方法來處理對象的數(shù)據(jù)。對象存儲(chǔ)將存儲(chǔ)管理下放給對象存儲(chǔ)設(shè)備。

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理與設(shè)計(jì) PDF格式下載

---