云計算核心技術(shù)剖析

內(nèi)容概要

　　云計算是新一代IT計算模式，它運用先進的分布式計算及存儲架構(gòu)為用戶提供方便的體驗并降低使用成本。本書首先介紹了云計算理論方面的知識，接著剖析了多個頂尖云計算產(chǎn)品（比如Google
App Engine和Salesforce
Force.com）的實現(xiàn)，介紹了非常重要的系統(tǒng)虛擬化技術(shù)和安全方面的機制，然后以云的核心模塊之一——分布式數(shù)據(jù)庫為實踐方向，并以
YunTable這個云時代的BigTable為例，來給大家演示如何手動編寫和設(shè)計一個分布式數(shù)據(jù)庫，最后對云計算的未來發(fā)展做了展望。

作者簡介

　　吳朱華
曾在IBM中國研究院參與過多個云計算產(chǎn)品的開發(fā)工作，現(xiàn)在成立了人云科技信息有限公司http://peopleyun.com），官方微博http://t.sina.com.cn/peopleyun，專注于YunTable和YunEngine研發(fā)。

書籍目錄

第一部分 理論篇
　第1章 云計算的概念
　　1.1 什么是云計算
　　　1.1.1 云計算的優(yōu)點
　　　1.1.2 云計算的特點
　　1.2 云計算的由來
　　　1.2.1 思想演化
　　　1.2.2 技術(shù)支撐
　　1.3 云計算的誕生
　　　1.3.1 SaaS 的誕生
　　　1.3.2 “IT 不再重要”的發(fā)表
　　　1.3.3 Google 的三大核心技術(shù)
　　　1.3.4 AWS 的推出
　　　1.3.5 IBM 和Google 的合作
　　1.4 云計算的成長
　　1.5 云計算的影響
　　　1.5.1 服務(wù)器供應(yīng)商
　　　1.5.2 軟件開發(fā)商
　　　1.5.3 云終端供應(yīng)商
　　　1.5.4 云供應(yīng)商
　　　1.5.5 整個IT 產(chǎn)業(yè)
　　1.6 云計算的使用場景
　　　1.6.1 IDC 云
　　　1.6.2 企業(yè)云
　　　1.6.3 云存儲系統(tǒng)
　　　1.6.4 虛擬桌面云
　　　1.6.5 開發(fā)測試云
　　　1.6.6 大規(guī)模數(shù)據(jù)處理云
　　　1.6.7 協(xié)作云
　　　1.6.8 游戲云
　　　1.6.9 HPC 云
　　　1.6.10 云殺毒
　第2章 云計算的架構(gòu)
　　2.1 云的架構(gòu)
　　　2.1.1 SaaS
　　　2.1.2 PaaS
　　　2.1.3 IaaS
　　　2.1.4 云管理層
　　　2.1.5 架構(gòu)示例
　　2.2 云的4 種模式
　　　2.21 公有云
　　　2.2.2 私有云
　　　2.2.3 混合云
　　　2.2.4 行業(yè)云
第二部分 產(chǎn)品與技術(shù)篇
　第3章 Google App Engine
　　3.1 Google 的云計算產(chǎn)品
　　　3.1.1 SaaS 層
　　　3.1.2 PaaS 層
　　　3.1.3 IaaS 層
　　　3.1.4 云客戶端
　　3.2 Google 的核心技術(shù)
　　　3.2.1 分布式基礎(chǔ)設(shè)施
　　　3.2.2 分布式大規(guī)模數(shù)據(jù)處理
　　　3.2.3 分布式數(shù)據(jù)庫技術(shù)
　　　3.2.4 數(shù)據(jù)中心優(yōu)化技術(shù)
　　3.3 Google 的設(shè)計思想和整體架構(gòu)
　　　3.3.1 設(shè)計思想
　　　3.3.2 整體架構(gòu)
　　3.4 Google App Engine 簡介
　　　3.4.1 歷史
　　　3.4.2 功能
　　　3.4.3 使用流程
　　　3.4.4 主要組成部分
　　　3.4.5 編程模型
　　　3.4.6 限制和資費
　　3.5 Google App Engine 的使用
　　　3.5.1 例子
　　　3.5.2 搭建環(huán)境
　　　3.5.3 初始化項目
　　　3.5.4 編寫數(shù)據(jù)庫代碼
　　　3.5.5 添加Web 處理方法
　　　3.5.6 測試和部署
　　3.6 Google App Engine 的架構(gòu)
　　　3.6.1 設(shè)計理念
　　　3.6.2 架構(gòu)
　　　3.6.3 流程
　　　3.6.4 Python 版和Java 版的區(qū)別
　　3.7 本地測試服務(wù)器的設(shè)計
　　　3.7.1 架構(gòu)
　　　3.7.2 工作流程
　　3.8 Datastore 的設(shè)計
　　　3.8.1 使用方面
　　　3.8.2 實現(xiàn)方面
　　3.9 總結(jié)
　　　3.9.1 注意點
　　　3.9.2 最佳實踐
　　　3.9.3 適用場景
　　　3.9.4 對未來的期望
　第4章 Salesforce Forcecom
　　4.1 Salesforce 簡介
　　　4.1.1 公司歷史
　　　4.1.2 Salesforce 的整體架構(gòu)
　　　4.1.3 Forcecom
　　4.2 多租戶的介紹
　　　4.2.1 概念
　　　4.2.2 多租戶技術(shù)的優(yōu)缺點
　　　4.2.3 常見的多租戶模型
　　4.3 Forcecom 的多租戶架構(gòu)（上）
　　　4.3.1 總體架構(gòu)
　　　4.3.2 元數(shù)據(jù)驅(qū)動
　　　4.3.3 應(yīng)用服務(wù)器
　　　4.3.4 共享數(shù)據(jù)庫
　　4.4 Forcecom 的多租戶架構(gòu)（下）
　　　4.4.1 應(yīng)用服務(wù)器的模塊
　　　4.4.2 數(shù)據(jù)庫表的設(shè)計
　　　4.4.3 Apex
　　4.5 總結(jié)
　　　4.5.1 設(shè)計理念
　　　4.5.2 經(jīng)驗教訓(xùn)
　第5章 系統(tǒng)虛擬化
　　5.1 系統(tǒng)虛擬化簡介
　　　5.1.1 虛擬化的概念
　　　5.1.2 系統(tǒng)虛擬化的概念
　　　5.1.3 系統(tǒng)虛擬化技術(shù)的分類
　　　5.1.4 系統(tǒng)虛擬化的用處
　　5.2 x86 虛擬化技術(shù)
　　　5.2.1 虛擬機的3 大特征
　　　5.2.2 為什么x86 架構(gòu)很難被虛擬化
　　　5.2.3 CPU 虛擬化
　　　5.2.4 內(nèi)存虛擬化
　　　5.2.5 I/O 虛擬化
　　　5.2.6 總結(jié)與預(yù)測
　　5.3 VMware vSphere 的簡介
　　　5.3.1 VMware 的思路
　　　5.3.2 VMware vSphere
　　5.4 VMware ESX 的架構(gòu)
　　　5.4.1 Service Console
　　　5.4.2 VMKernel
　　5.5 虛擬網(wǎng)絡(luò)
　　　5.5.1 簡介
　　　5.5.2 虛擬網(wǎng)卡
　　　5.5.3 虛擬交換機
　　5.6 動態(tài)遷移背后的奧秘
　　　5.6.1 動態(tài)遷移的實現(xiàn)機制
　　　5.6.2 動態(tài)遷移今后的挑戰(zhàn)
　　5.7 虛擬器件
　　　5.7.1 虛擬器件的定義
　　　5.7.2 虛擬器件的主要組成部分
　　　5.7.3 虛擬器件的生命周期
　　　5.7.4 虛擬器件的好處
　　　5.7.5 虛擬器件的不足之處
　　　5.7.6 業(yè)界支持
　　　5.7.7 虛擬器件與云計算
　　5.8 OVF 協(xié)議
　　　5.8.1 OVF 信封
　　　5.8.2 OVF 環(huán)境文件
　　　5.8.3 使用流程
　　5.9 VMware 的云計算計劃
　　　5.9.1 VMware vCloud Express
　　　5.9.2 VMware vCloud Director
　　　5.9.3 VMforce
　　5.10 Xen 的架構(gòu)
　　　5.10.1 Xen 簡介
　　　5.10.2 半虛擬化技術(shù)介紹
　　　5.10.3 Xen 的架構(gòu)
　　5.11 Xen 的實現(xiàn)機制
　　　5.11.1 超級調(diào)用
　　　5.11.2 vCPU 調(diào)度
　　　5.11.3 中斷虛擬化
　　　5.11.4 內(nèi)存管理
　　　5.11.5 I/O 系統(tǒng)
　　　5.11.6 信息傳遞
　　　5.11.7 時間管理
　　5.12 Intel VT 技術(shù)
　　　5.12.1 VT-x
　　　5.12.2 EPT
　　　5.12.3 VT-d
　　　5.12.4 VT-c
　　5.13 最新的進展
　　　5.13.1 VMware vSphere
　　　5.13.2 Xen
　　　5.13.3 Intel VT 的PLE 技術(shù)
　第6章 Amazon EC
　　6.1 AWS 的概況
　　　6.1.1 簡介
　　　6.1.2 產(chǎn)品類別
　　　6.1.3 產(chǎn)品特點
　　　6.1.4 成功案例
　　6.2 Amazon EC2 簡介
　　6.3 Amazon EC2 的主要模塊
　　　6.3.1 AMI
　　　6.3.2 實例
　　　6.3.3 存儲
　　　6.3.4 安全方面
　　　6.3.5 可用區(qū)
　　　6.3.6 網(wǎng)絡(luò)方面
　　　6.3.7 Web 管理界面
　　　6.3.8 API
　　6.4 Amazon EC2 的使用
　　　6.4.1 準(zhǔn)備賬號
　　　6.4.2 創(chuàng)建實例
　　　6.4.3 啟動服務(wù)
　　6.5 Amazon EC2 的優(yōu)缺點
　　　6.5.1 優(yōu)點
　　　6.5.2 不足之處
　第7章 Cisco UCS
　　7.1 什么是UCS
　　7.2 UCS 的架構(gòu)
　　　7.2.1 Cisco UCS 6100 系列互聯(lián)陣列
　　　7.2.2 Cisco UCS 管理程序
　　　7.2.3 Cisco UCS 2100 系列擴展模塊
　　　7.2.4 Cisco UCS 5100 系列刀片機箱
　　　7.2.5 Cisco B 系列刀片服務(wù)器
　　　7.2.6 Cisco UCS 網(wǎng)絡(luò)適配器
　　7.3 UCS 的核心技術(shù)之內(nèi)存擴展
　　　7.3.1 Xeon 5500 內(nèi)存架構(gòu)
　　　7.3.2 思科的內(nèi)存擴展技術(shù)
　　7.4 UCS 的核心技術(shù)之VN-Link
　　　7.4.1 虛擬網(wǎng)絡(luò)的難題
　　　7.4.2 Cisco Nexus 1000V 的方案
　　　7.4.3 NIV 的方案
　　7.5 UCS 的核心技術(shù)之統(tǒng)一網(wǎng)絡(luò)
　　　7.5.1 數(shù)據(jù)中心的現(xiàn)狀
　　　7.5.2 統(tǒng)一網(wǎng)絡(luò)簡介
　　　7.5.3 統(tǒng)一網(wǎng)絡(luò)的基石
　　　7.5.4 不足之處
　　7.6 為虛擬化而生
　　　7.6.1 虛擬化的目標(biāo)
　　　7.6.2 服務(wù)器整合
　　　7.6.3 簡化系統(tǒng)管理
　　　7.6.4 加速應(yīng)有部署
　第8章 云計算的安全
　　8.1 云計算安全的概念
　　　8.1.1 新的挑戰(zhàn)
　　　8.1.2 現(xiàn)有安全系統(tǒng)的不足
　　　8.1.3 云計算的優(yōu)勢
　　8.2 云計算安全的架構(gòu)
　　　8.2.1 云客戶端
　　　8.2.2 云端
　　　8.2.3 第三方機構(gòu)
　　8.3 Salesforce Forcecom 的安全機制
　　　8.3.1 整體監(jiān)管和合規(guī)性
　　　8.3.2 用戶管理
　　　8.3.3 數(shù)據(jù)管理
　　　8.3.4 系統(tǒng)和網(wǎng)絡(luò)
　　　8.3.5 物理設(shè)施
　　8.4 AWS 的安全機制
　　　8.4.1 整體監(jiān)管和合規(guī)性
　　　8.4.2 用戶管理
　　　8.4.3 數(shù)據(jù)管理
　　　8.4.4 應(yīng)用保護
　　　8.4.5 系統(tǒng)與網(wǎng)絡(luò)
　　　8.4.6 物理設(shè)施
　　8.5 為什么云計算更安全
　　　8.5.1 安全管理方面
　　　8.5.2 高可用性方面
　　　8.5.3 數(shù)據(jù)安全方面
　　　8.5.4 人才方面
　　　8.5.5 廣域網(wǎng)方面
　　　8.5.6 總結(jié)
第三部分 實踐篇
　第9章 深入分析BigTable
　　9.1 BigTable 簡介
　　9.2 BigTable 的架構(gòu)
　　9.3 BigTable 的數(shù)據(jù)模型和調(diào)用接口
　　　9.3.1 數(shù)據(jù)模型
　　　9.3.2 調(diào)用接口
　　9.4 BigTable 的存儲模型
　　　9.4.1 Tablet 的運行機制
　　　9.4.2 SSTable 的介紹
　　　9.4.3 Compaction 機制
　　9.5 BigTable 的分布式模型
　　　9.5.1 綜述
　　　9.5.2 Chubby
　　　9.5.3 如何定位Tablet
　　　9.5.4 如何分配Tablet
　　9.6 BigTable 的文件系統(tǒng)
　　　9.6.1 GFS 簡介
　　　9.6.2 GFS 的架構(gòu)
　　　9.6.3 GFS 與BigTable 的協(xié)作
　　9.7 BigTable 的優(yōu)化技術(shù)
　　　9.7.1 局部性群組
　　　9.7.2 壓縮
　　　9.7.3 通過緩存提高讀操作的性能
　　　9.7.4 Bloom 過濾器
　　　9.7.5 提交日志的實現(xiàn)
　　　9.7.6 利用不變性
　　9.8 BigTable 的功能集
　　　9.8.1 論文中提到的特性
　　　9.8.2 新特性
　第10章 YunTable 概覽
　　10.1 為什么要開發(fā)YunTable
　　10.2 YunTable 的目標(biāo)
　　　10.2.1 02 版的主要目標(biāo)
　　　10.2.2 一些限制
　　10.3 YunTable 的數(shù)據(jù)模型
　　10.4 YunTable 的命令行
　　　10.4.1 Add 命令
　　　10.4.2 Put 命令
　　　10.4.3 Get 命令
　　10.5 YunTable 的架構(gòu)
　　　10.5.1 Master 節(jié)點
　　　10.5.2 Region 節(jié)點
　　　10.5.3 客戶端
　　10.6 工作流程
　　　10.6.1 流程1：啟動Master 節(jié)點
　　　10.6.2 流程2：啟動Region 節(jié)點
　　　10.6.3 流程3：啟動客戶端
　　　10.6.4 流程4：添加Master 節(jié)點
　　　10.6.5 流程5：添加Region 節(jié)點
　　　10.6.6 流程6：創(chuàng)建表格
　　　10.6.7 流程7：創(chuàng)建列組
　　　10.6.8 流程8：添加數(shù)據(jù)
　　　10.6.9 流程9：根據(jù)Row Key 查詢
　　10.7 YunTable 的使用
　　　10.7.1 準(zhǔn)備環(huán)境
　　　10.7.2 測試用例
　　　10.8 YunTable 的規(guī)劃
　第11章 YunTable 的代碼剖析
　　11.1 基礎(chǔ)知識
　　　11.1 編程規(guī)范
　　　11.1.2 代碼結(jié)構(gòu)
　　　11.1.3 開發(fā)環(huán)境
　　　11.1.4 重要設(shè)定
　　11.2 基礎(chǔ)部分
　　　11.2.1 Utils
　　　11.2.2 List
　　　11.2.3 Item
　　　11.2.4 Conf
　　　11.2.5 RPC
　　11.3 Master 部分
　　　11.3.1 數(shù)據(jù)結(jié)構(gòu)部分
　　　11.3.2 對外接口部分
　　　11.3.3 實現(xiàn)部分
　　11.4 Region 部分
　　　11.4.1 Region
　　　11.4.2 WAL
　　　11.4.3 Tablet
　　　11.4.4 Memstore
　　　11.4.5 YFile
　　11.5 客戶端部分
　　　11.5.1 數(shù)據(jù)結(jié)構(gòu)部分
　　　11.5.2 實現(xiàn)部分
第四部分 展望篇
　第12 章 云計算的未來
　　12.1 云計算的服務(wù)模式
　　　12.1.1 比較
　　　12.1.2 未來的競爭
　　12.2 云計算的商業(yè)模式
　　　12.2.1 “超市”模式
　　　12.2.2 “電廠”模式
　　　12.2.3 “超市”模式和“電廠”模式的區(qū)別
　　　12.2.4 超市還是電廠
　　12.3 云計算與中國
　　　12.3.1 現(xiàn)狀
　　　12.3.2 對未來的期望
　　12.4 云計算最新技術(shù)
　　　12.4.1 Facebook 的Open Compute項目
　　　12.4.2 VMware 的開源PaaS CloudFoundry
　　　12.4.3 YunEngine
　　12.5 聊聊科技產(chǎn)業(yè)的未來
　　　12.5.1 潛在的優(yōu)勢
　　　12.5.2 主要方向
　　　12.5.3 驅(qū)動力
結(jié)尾
附錄

章節(jié)摘錄

　　1.使網(wǎng)絡(luò)架構(gòu)更復(fù)雜　　在數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計方面，普遍使用核心（Core）、匯聚（Aggregation）和接入（Access）這三層架構(gòu)，但是隨著虛擬交換機的出現(xiàn)，數(shù)據(jù)中心的網(wǎng)絡(luò)雖然還能維持三層架構(gòu)，但是接入層將從原先常見的機架（Rack）或者刀片機箱（Blade Chassis）級別降至主機（Host）級別，這不僅影響這三層架構(gòu)，而且打破了之前每個網(wǎng)口對應(yīng)唯一一個物理機的假設(shè)。同時，虛擬交換機又打破了另一個操作系統(tǒng)無法移動的假設(shè)，其原因是高級的虛擬化技術(shù)（比如vMotion）使一個操作系統(tǒng)在多個物理機乃至多個數(shù)據(jù)中心之間移動。這種移動性的變化對整個網(wǎng)絡(luò)架構(gòu)產(chǎn)生了非常大的影響。首先，部分屬于匯聚層的網(wǎng)絡(luò)服務(wù)需要修改以支持虛擬機的移動性。其次，在接入層，vMotion需要動態(tài)遷移的發(fā)起者和接受者都必須位于一個統(tǒng)一的第二層網(wǎng)段內(nèi)，而且為了遷移方便，會有過多的主機接入到同一個第二層的網(wǎng)段內(nèi)，這種方式極大地違反了經(jīng)典的網(wǎng)絡(luò)設(shè)計理念。最后，在普通物理環(huán)境下，每個網(wǎng)口和接入它的物理機的網(wǎng)絡(luò)設(shè)置[比如端口的安全設(shè)置、ACL（Access Control List，訪問控制列表）和VLAN等]都是固定的，但是在虛擬環(huán)境中，因為系統(tǒng)會不斷遷移，導(dǎo)致上面提到的這些網(wǎng)絡(luò)配置也需要做相應(yīng)遷移來保持統(tǒng)一，這個工作也是很麻煩的?！　?.加大管理難度　　雖然虛擬交換機的誕生帶來了很多方便，但是如果數(shù)據(jù)中心部署了許多虛擬主機的話，這將會帶來很多管理問題。首先，每個虛擬交換機都是一個獨立的管理點，如果需要管理它的話，那就需要耗費很多精力，所以經(jīng)常被忽視；其次，因為現(xiàn)在虛擬交換機屬于主機這個層次，普遍由服務(wù)器管理員負(fù)責(zé)，而不是由網(wǎng)絡(luò)管理員控制，所以虛擬交換機的設(shè)置和維護都脫離了數(shù)據(jù)中心整體的網(wǎng)絡(luò)架構(gòu)，再加上虛擬機的移動性，更加大了管理工作的難度?！　榱私鉀Q上面提到的那些虛擬交換機的不足，VMware在vSphere4中推出了分布式虛擬交換機（vDS）。vDS堪稱VMware新一代的虛擬網(wǎng)絡(luò)技術(shù)，它是能橫跨多個主機的分布式交換機，而不是像虛擬交換機那樣只能在一臺主機上活動。　　它的實現(xiàn)機制是分離了交換機的數(shù)據(jù)功能和控制功能。雖然數(shù)據(jù)功能還是由主機上的虛擬交換機來處理的，但是控制功能都被集中起來移至主機之外，并將其安裝在一個特制的虛擬機內(nèi)（比如Cisco Nexus 1000V）、Virtual Center內(nèi)或者一個特制的物理機上（比如Cisco Nexus 1010）。　　引入vDS最大的好處就是簡化了管理。它通過一個能橫跨多個主機的數(shù)據(jù)中心級分布式交換機來替代很多主機層次的虛擬交換機。通過這個方式，不僅能對虛擬環(huán)境的網(wǎng)絡(luò)資源進行統(tǒng)一管理，而且可以通過Virtual Center來進行管理?！　≡趘Sphere4中，VMware還推出了主機配置（Host Profile）和分布式虛擬端口組（Distributed Virtual Port Groups）這兩個功能來進一步簡化vDS的部署和管理，同時能更好地維護網(wǎng)絡(luò)配置的一致性。另外，vDS還支持其他一些網(wǎng)絡(luò)功能，具體如下。　　……

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    云計算核心技術(shù)剖析 PDF格式下載

---