高可用性的HDFS

內(nèi)容概要

　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》專注于hadoop分布式文件系統(tǒng)（hdfs）的主流ha解決方案，內(nèi)容包括：hdfs元數(shù)據(jù)解析、hadoop元數(shù)據(jù)備份方案、hadoop
backup node方案、avatarnode解決方案以及最新的ha解決方案cloudrea ha name
node等。其中有關(guān)backup
node方案及avatarnode方案的內(nèi)容是本書重點(diǎn)，尤其是對avatarnode方案從運(yùn)行機(jī)制到異常處理方案的步驟進(jìn)行了詳盡介紹，同時還總結(jié)了各種異常情況下avatarnode的各種處理方案。
　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》從代碼入手并結(jié)合情景分析、案例解說對hdfs的元數(shù)據(jù)以及主流的hdfs
ha解決方案的運(yùn)行機(jī)制進(jìn)行了深入剖析，力求使讀者在解決問題時做到心中有數(shù)，不僅知其然還知其所以然。
　　本書光盤包含本書部分操作的視頻教程以及所有源代碼、腳本等開發(fā)文件。
　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》讀者主要為云計算相關(guān)領(lǐng)域的研發(fā)人員、云計算系統(tǒng)管理維護(hù)人員，也適合作為高校研究生和高年級本科生的專業(yè)課輔助教材。

作者簡介

文艾，解放軍理工大學(xué)講師，7年Linux分布式系統(tǒng)開發(fā)經(jīng)驗，完成科研項目10余項，發(fā)表學(xué)術(shù)論文9篇，獲得部級科技進(jìn)步獎3項。自2008年關(guān)注云計算方向以來，參與完成了《云計算》教材編寫，負(fù)責(zé)首屆全國高校教師暑期云計算培訓(xùn)班實驗課程教學(xué)，與國內(nèi)外知名企業(yè)合作，完成多項云計算科研項目及培訓(xùn)任務(wù)，其中《面向3G視頻監(jiān)控的云存儲系統(tǒng)》在2009年中國首屆云計算大會上作了大會演示。對GFS、HDFS、MooseFS等云存儲系統(tǒng)的運(yùn)行原理和實現(xiàn)機(jī)制進(jìn)行過深入研究，此外感興趣的方向還包括分布式智能視頻處理，目前的主要研究方向為云計算高可用性及云存儲系統(tǒng)。王磊，南京云創(chuàng)存儲科技有限公司云計算工程師，專注于分布式平臺下任務(wù)調(diào)度和可靠性。發(fā)表多篇分布式環(huán)境下任務(wù)調(diào)度和可靠性論文。深度分析Hadoop源代碼，熟悉運(yùn)行機(jī)制和原理，掌握HDFS具體流程細(xì)節(jié)，深入理解分布式計算理論及Hadoop的運(yùn)行機(jī)制和原理，熟悉HDFS、MapReduce和Hbase的具體實現(xiàn)方式。在HDFS、MapReduce的數(shù)據(jù)一致性方面和故障恢復(fù)上也有深入研究，并提供高效自動恢復(fù)方案。參與開發(fā)了多個與Hadoop相關(guān)的大型項目和產(chǎn)品，熱衷于改進(jìn)Hadoop代碼以及研究如何提高Hadoop的可靠性。

書籍目錄

第1章 hdfs ha及解決方案
　1.1 hdfs系統(tǒng)架構(gòu)
　1.2 ha定義
　1.3 hdfs ha原因分析及應(yīng)對措施
　1.3.1 可靠性
　1.3.2 可維護(hù)性
　1.4 現(xiàn)有hdfs ha解決方案
　1.4.1 hadoop的元數(shù)據(jù)備份方案
　1.4.2 hadoop的secondarynamenode方案
　1.4.3 hadoop的checkpoint ode方案
　1.4.4 hadoop的backupnode方案
　1.4.5 drdb方案
　1.4.6 facebook的avatarnode方案
　1.5 方案優(yōu)缺點(diǎn)比較
第2章 hdfs元數(shù)據(jù)解析
　2.1 概述
　2.2 內(nèi)存元數(shù)據(jù)結(jié)構(gòu)
　2.2.1 inode
　2.2.2 block 　
　2.2.3 blockinfo和datanodedescriptor
　2.2.4 小結(jié)
　2.2.5 代碼分析——元數(shù)據(jù)結(jié)構(gòu)
　2.3 磁盤元數(shù)據(jù)文件
　2.4 format情景分析
　2.5 元數(shù)據(jù)應(yīng)用場景分析
第3章 hadoop的元數(shù)據(jù)備份方案
　3.1 運(yùn)行機(jī)制分析
　3.1.1 namenode啟動加載元數(shù)據(jù)情景分析
　3.1.2 元數(shù)據(jù)更新及日志寫入情景分析
　3.1.3 checkpoint過程情景分析
　3.1.4 元數(shù)據(jù)可靠性機(jī)制
　3.1.5 元數(shù)據(jù)一致性機(jī)制
　3.2 使用說明
第4章 hadoop的backup node方案
　4.1 backup node概述
　4.1.1 系統(tǒng)架構(gòu)
　4.1.2 使用原則
　4.1.3 優(yōu)缺點(diǎn)
　4.2 運(yùn)行機(jī)制分析
　4.2.1 啟動流程
　4.2.2 元數(shù)據(jù)操作情景分析
　4.2.3 日志池（journal spool）機(jī)制
　4.2.4 故障切換機(jī)制
　4.3 實驗方案說明
　4.4 構(gòu)建實驗環(huán)境
　4.4.1 網(wǎng)絡(luò)拓?fù)?br />　4.4.2 系統(tǒng)安裝及配置
　4.4.3 安裝jdk
　4.4.4 虛擬機(jī)集群架設(shè)
　4.4.5 namenode安裝及配置
　4.4.6 backup node安裝及配置
　4.4.7 data node安裝及配置
　4.4.8 clients安裝及配置
　4.5 異常解決方案
　4.5.1 異常情況分析
　4.5.2 namenode配置
　4.5.3 backup node配置
　4.5.4 data node配置
　4.5.5 namenode宕機(jī)切換實驗
　4.5.6 namenode宕機(jī)讀寫測試
　
第5章 avatarnode運(yùn)行機(jī)制
　5.1 方案說明
　5.1.1 系統(tǒng)架構(gòu)
　5.1.2 思路分析
　5.1.3 性能數(shù)據(jù)
　5.2 元數(shù)據(jù)分析
　5.2.1 類fsnamesystem
　5.2.2 類fsdirectory
　5.2.3 avatarnode的磁盤元數(shù)據(jù)文件
　5.3 avatarnode primary啟動過程
　5.4 avatarnode standby啟動過程
　5.4.1 avatarnode的構(gòu)造方法
　5.4.2 standby線程的run()方法
　5.4.3 ingest線程的run()方法
　5.4.4 ingest線程的ingestfsedits ()方法
　5.4.5 standby線程的docheckpoint()方法
　5.5 用戶操作情景分析
　5.5.1 創(chuàng)建目錄情景分析
　5.5.2 創(chuàng)建文件情景分析
　5.6 avatarnode standby故障切換過程
　5.7 元數(shù)據(jù)一致性保證機(jī)制
　5.7.1 元數(shù)據(jù)目錄樹信息
　5.7.2 data node與block數(shù)據(jù)塊映射信息
　5.8 block更新同步問題
　5.8.1 問題描述
　5.8.2 結(jié)論
　5.8.3 源碼分析
第6章 avatarnode使用
　6.1 方案說明
　6.1.1 網(wǎng)絡(luò)拓?fù)?br />　6.1.2 操作系統(tǒng)安裝及配置
　6.2 使用avatar打補(bǔ)丁版本
　6.2.1 hadoop源碼聯(lián)機(jī)build
　6.2.2 hadoop源碼本地build
　6.2.3 nfs服務(wù)器構(gòu)建
　6.2.4 avatar分發(fā)與部署
　6.2.5 primary（namenode0）節(jié)點(diǎn)配置
　6.2.7 data node節(jié)點(diǎn)配置
　6.2.8 client節(jié)點(diǎn)配置
　6.2.9 創(chuàng)建目錄
　6.2.10 掛載nfs
　6.2.11 啟動ucarp
　6.2.12 格式化
　6.2.13 系統(tǒng)啟動
　6.2.14 檢查
　6.2.15 namenode失效切換寫文件實驗
　6.2.16 namenode失效切換讀文件實驗
　6.3 avatar facebook版本的使用
　6.3.1 hadoop facebook版本安裝
　6.3.2 節(jié)點(diǎn)配置
　6.3.3 啟動hdfs
　6.3.4 namenode失效切換
第7章 avatarnode異常解決方案
　7.1 測試環(huán)境
　7.2 primary失效
　7.2.1 解決方案
　7.2.2 寫操作實驗步驟
　7.2.3 改進(jìn)寫操作機(jī)制
　7.2.4 讀操作實驗步驟
　7.2.5 小結(jié)
　7.3 standby失效
　7.4 nfs失效（數(shù)據(jù)未損壞）
　7.4.1 解決方案
　7.4.2 寫操作實驗步驟
　7.4.3 讀操作實驗步驟
　7.4.4 小結(jié)
　7.5 nfs失效（數(shù)據(jù)已損壞）
　7.5.1 解決方案
　7.5.2 寫操作實驗步驟
　7.5.3 讀操作實驗步驟
　7.5.4 小結(jié)
　7.6 primary先失效，nfs后失效（數(shù)據(jù)未損壞）
　7.6.1 解決方案
　7.6.2 寫操作實驗步驟
　7.6.3 讀操作實驗步驟
　7.6.4 小結(jié)
　7.7 primary先失效（數(shù)據(jù)未損壞），nfs后失效（數(shù)據(jù)損壞）
　7.7.1 解決方案
　7.7.2 寫操作實驗步驟
　7.7.3 讀操作實驗步驟
　7.7.4 小結(jié)
　7.8 nfs先失效（數(shù)據(jù)未損壞），primary后失效
　7.8.1 解決方案
　7.8.2 寫操作實驗步驟
　7.8.3 讀操作實驗步驟
　7.8.4 小結(jié)
　7.9 nfs先失效（數(shù)據(jù)損壞），primary后失效（數(shù)據(jù)損壞）
　7.9.1 解決方案
　7.9.2 寫操作實驗步驟
　7.9.3 讀操作實驗步驟
　7.9.4 小結(jié)
　7.10 實驗結(jié)論
第8章 cloudera ha namenode使用
　8.1 ha namenode說明
　8.2 cdh4b1版本hdfs集群配置
　8.2.1 虛擬機(jī)安裝
　8.2.2 nn1配置
　8.2.3 dn1~dn3配置
　8.2.4 hdfs集群構(gòu)建
　8.3 ha namenode配置
　8.3.1 nn1配置
　8.3.2 其他節(jié)點(diǎn)配置
　8.4 ha namenode使用
　8.4.1 啟動ha hdfs集群
　8.4.2 第1次failover
　8.4.3 模擬寫操作
　8.4.4 模擬active name node失效，第2次failover
　8.3.5 模擬新的standby namenode加入
　8.5 小結(jié)
　
　　

編輯推薦

《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》編輯推薦：如果您是一位Hadoop集群管理維護(hù)人員，請閱讀本書，它將向您展示當(dāng)前主流的HDFS HA解決方案，通過文字說明和視頻展示這些方案的實現(xiàn)機(jī)制和操作細(xì)節(jié)，使您能夠在最短的時間內(nèi)消化和吸收這些技術(shù)，您可以根據(jù)自己的需要選擇和部署實施最合適的HA方案。如果您是一位Hadoop應(yīng)用開發(fā)者，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，您將會在此尋找到如何與HDFS的HA相結(jié)合，編寫出更為健壯的應(yīng)用程序的答案。如果您是一位分布式文件系統(tǒng)研發(fā)人員，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，它將向您深入剖析HDFS這一最有影響力的開源云計算分布式存儲系統(tǒng)的各種HA方案及其實現(xiàn)機(jī)制。如果您是一位云計算技術(shù)的愛好者，請閱讀《高可用性的HDFS:Hadoop分布式文件系統(tǒng)深度實踐》，它會從零開始，一步一步地帶您掌握云計算相關(guān)技術(shù)的基本操作，并加深概念的理解，為您日后深入云計算技術(shù)打下基礎(chǔ)。

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    高可用性的HDFS PDF格式下載

---