云計算的關鍵技術與應用實例

前言

從并行計算、網格計算到云計算的發(fā)展歷程，是一個技術從陽春白雪向下里巴人的發(fā)展過程。云計算使計算機上了云端，卻讓并行技術走進了人們的生活。云計算從定位上講一開始就是面向所有普通用戶的，所以云計算概念的提出馬上得到了一線IT企業(yè)和大眾的關注，使其成為一種改變現(xiàn)有計算機使用模式的革命性技術。Amazon的云計算系統(tǒng)在市場上的成功更是給了大家強大的信心。云計算的發(fā)展到底到了什么階段？我們以王國維在他的《人間詞話》中的一段話來描述，“古今之成大事業(yè)、大學問者，必經過三種之境界”?！白蛞刮黠L凋碧樹，獨上高樓，望盡天涯路”，此第一境也。“衣帶漸寬終不悔，為伊消得人憔悴”，此第二境也?！氨娎飳にО俣?，驀然回首，那人正在燈火闌珊處”，此第三境也。云計算發(fā)展到今天，我們認為應該還處于第一境界：望盡天涯路。前路漫漫，云計算最后將走向何方我們還不得而知，在技術上“你方唱罷我登場”，最后誰會成功我們也不得而知，現(xiàn)在正是需要大家開始以“衣帶漸寬終不悔，為伊消得人憔悴”的精神去找尋云計算的“天涯之路”，相信終會到達“眾里尋他千百度，驀然回首，那人正在燈火闌珊處”的境界。云計算概念被提出以后并行計算技術和虛擬化技術成為其核心支撐技術，云計算將按需計算帶給了普通的用戶，也使并行計算成為普通用戶方便使用的技術，而且并行計算中的“單一系統(tǒng)映像技術”實際也反映系統(tǒng)虛擬化的思想，所以從廣義來看并行計算技術本身可能包括虛擬化技術，因而并行計算技術是云計算技術中的一個相當重要的技術基礎。云計算及高性能計算的逐步普及使并行程序設計成為許多程序設計人員不可避免的一項艱巨工作，特別是云計算、個人高性能計算機（PHPC）等技術的深入發(fā)展，使許多技術人員開始從單機工作模式向并行計算模式轉變。由于并行程序設計現(xiàn)在還沒有一個很好的集成開發(fā)平臺提供方便的組件給設計者使用，幾乎所有的設計工作都需要從底層自己完成，因此并行程序的設計往往使很多程序設計者望而卻步。MPI作為并行程序設計事實上的標準被廣泛地應用于各個領域，不少企業(yè)及研究機構逐步認識到。MPI的重要性。

內容概要

本書從并行計算切入，以全新的視角全面講述了云計算技術，主要內容包括并行計算技術、云計算的關鍵技術、架構及實例、云計算與智能、云計算技術的競爭性分析等內容?！　嗅槍υ朴嬎阒械拇罅考夹g架構、細節(jié)及戰(zhàn)略問題提出了自己的看法和解決方案，并對云計算的底層技術給出了具體的模型化實現(xiàn)實例——云計算V0.01。這些內容大多數(shù)來自于我們近期在云計算領域的研究成果和開發(fā)實際項目經驗?！　∪珪鴥热葚S富，知識跨度較大，對云計算技術人員、技術戰(zhàn)略分析人員和愛好者均有重要的參考價值，也可供高等院校研究云計算和并行計算的研究者和同學作為參考資料及教材使用。

書籍目錄

第1篇　從并行計算到云計算  第1章　并行計算與云計算　    1.1　并行計算到云計算的演變　    1.2　云計算需要定義嗎？　    1.3　云計算是否是新瓶裝舊酒　    1.4　MPI與Hadoop，不同學科學者的選擇　    1.5　云計算與瀏覽器　  第2章　MPI并行計算環(huán)境的建立　    2.1　配置前的準備工作　    2.2　掛載NFS文件系統(tǒng)　    2.3　配置ssh實現(xiàn)MPI節(jié)點間用戶的無密碼訪問　    2.4　安裝MPICH2　    2.5　建立并行計算環(huán)境時的注意事項　  第3章　并行計算時代的程序設計方法　    3.1　最簡單的并行程序　    3.2　獲取進程標志和機器名　    3.3　有消息傳遞功能的并行程序　    3.4　Monte Carlo法在并行程序設計中的應用　    3.5　并行計算中節(jié)點間的Reduce操作　    3.6　用MPI的6個基本函數(shù)實現(xiàn)Reduce函數(shù)功能　    3.7　計算與通信的并行　    3.8　節(jié)點間自定義復雜數(shù)據(jù)結構的傳輸　    3.9　MPI與MySQL數(shù)據(jù)庫的結合應用　    3.10　設計MPI并行程序時的注意事項　  第4章　從MPI走向云計算　    4.1　MPI沒有分布式文件系統(tǒng)支持　    4.2　MPI無法應對節(jié)點的失效　    4.3　假如用MPI來構建云計算系統(tǒng)　第2篇　云計算的關鍵技術  第5章　Map/Reduce是云計算的選擇嗎　    5.1　Map/Reduce跨越50年的歷史　    5.2　實現(xiàn)Map/Reduce的C語言實例　    5.3　采用MPI實現(xiàn)并行化的Map/Reduce功能　  第6章　Hadoop技術　    6.1　Hadoop與MPI在數(shù)據(jù)處理上的對比　    6.2　Hadoop的主從式結構　    6.3　Hadoop文件系統(tǒng)HDFS的前輩GFS　    6.4　構建云文件系統(tǒng)需要解決的關鍵問題　    6.5　云計算不相信節(jié)點服務器　    6.6　揭密云計算架構下的典型服務器——Google服務器　  第7章　Hadoop環(huán)境的建立　    7.1　Hadoop配置環(huán)境　    7.2　配置ssh實現(xiàn)Hadoop節(jié)點間用戶的無密碼訪問　    7.3　JDK的安裝配置　    7.4　Hadoop的安裝配置　    7.5　Hadoop中的Hello World　    7.6　C語言程序在Hadoop上運行　  第8章　動手做自己的云計算V0.01系統(tǒng)　    8.1　系統(tǒng)總體分析　    8.2　管理節(jié)點程序設計與分析　    8.3　子節(jié)點程序分析　    8.4　客戶端API設計　    8.5　客戶端應用開發(fā)實例　第3篇　云計算應用實例  第9章　基于不可信服務器節(jié)點的云計算基礎架構　  第10章　云計算與智能　  第11章　云計算企業(yè)之間的競爭性分析　  后記　未來的計算——不確定性和隱含并行計算　  附錄　計算力的標準Linpack測試詳細指南　  參考文獻　

章節(jié)摘錄

插圖：（1）非阻塞數(shù)據(jù)發(fā)送函數(shù)：int MPI-Isend（void buf,int count，MPI-Datatype datatype，int dest，int tag，MPI-Comm comm，MPI-Request request）。參數(shù)描述：buf為數(shù)據(jù)發(fā)送緩沖區(qū)；datatype為MPI定義的數(shù)據(jù)類型；dest為目標進程號；tag為消息標志；comm為通信域；request為非阻塞數(shù)據(jù)傳輸對象，在程序中用MPI Request類型定義。該函數(shù)調用后啟動數(shù)據(jù)發(fā)送并且不等待數(shù)據(jù)發(fā)送成功而立即返回，非阻塞數(shù)據(jù)發(fā)送函比阻塞數(shù)據(jù)發(fā)送函數(shù)只多一個MPI-Request參數(shù)，用于檢測數(shù)據(jù)非阻塞數(shù)據(jù)發(fā)送的完成狀態(tài)。（2）非阻塞數(shù)據(jù)接收函數(shù)：int MPI Irecv（void buf,int count，MPI-Datatype datatype，int source，int tag，MPI-Comm comm，MPI_Request request）。參數(shù)描述：buf為數(shù)據(jù)接收緩沖區(qū)；datatype為MPI定義的數(shù)據(jù)類型；source為數(shù)據(jù)來源的進程號；tag為消息標志；comm為通信域；request為非阻塞數(shù)據(jù)傳輸對象，在程序中用MPI類型定義 Request該函數(shù)調用后啟動數(shù)據(jù)接收并且不等待數(shù)據(jù)發(fā)送成功而立即返回。（3）等待非阻塞數(shù)據(jù)傳輸完成：int MPI-Wait（MPI-Request*request，MPI-Status*status）。參數(shù)描述：request為非阻塞數(shù)據(jù)傳輸對象，status為返回狀態(tài)。該函數(shù)調用后直到數(shù)據(jù)傳輸完成后才返回，并釋放該通信對象，調用該函數(shù)后數(shù)據(jù)傳輸一定是完成了的，所以我們在使用數(shù)據(jù)緩沖區(qū)前可以調用該函數(shù)來保證數(shù)據(jù)已成功傳輸。

后記

云計算技術的創(chuàng)新是應用技術和架構技術的創(chuàng)新，離徹底的技術變革還是有很長的一段距離。云計算之后未來的計算技術要走向何方，從單機到并行計算、網格計算再到云計算，計算技術的逐步前進使人類擁有了前所未有的信息處理能力，然而要實現(xiàn)真正的計算智能以計算機的簡單疊加是不可能最后解決問題的，由不確定性所導致的隱含并行性，也許是一個思路。計算技術的發(fā)展也許會走出這么一個軌跡：單機計算、并行計算、網絡計算、云計算、…、隱含并行計算。我們永遠需要創(chuàng)新地去思考，技術的發(fā)展是沒有止境的。隱含并行性（Implicit：Parallelism）這一時常出現(xiàn)在計算機算法中的精靈，一直被計算機學者所忽視，隱含并行性的存在使一些算法具有神奇的并行搜索能力和復雜問題的求解能力。我們在對遺傳算法隱含并行性以及物理學中不確定性理論研究的基礎上發(fā)現(xiàn)：隱含并行性存在于大量的智能算法中，正是由于隱含并行性的存在，使這類算法具備很強的解空間搜索能力。這一發(fā)現(xiàn)使我們意識到算法的隱含并行可能是一把解開人工智能奧秘的鑰匙，對算法隱含并行性出現(xiàn)的物理本質進行解釋，將有助于我們從一個新的視角進一步了解人工智能產生的機制。自然界的發(fā)展，人類從C、H、O原子進化到高級智能生命體的過程，無不昭示著我們的大自然本身就是一個具有極強隱含并行能力的系統(tǒng)。無獨有偶，我們發(fā)現(xiàn)不只是遺傳算法，大量的自然算法如模擬退火算法、蟻群算法、神經網絡算法、量子算法都具有對解空間的高效搜索能力，這些算法通過對大自然的模仿都具備了較強的信息搜索能力，從某種程度上實現(xiàn)了對智能行為的模擬。更為巧合的是這些算法無一例外的都采用了概率的方法，通過概率方法即使算法系統(tǒng)處于一種不確定的狀態(tài)。自然界的這種不確定性狀態(tài)在1900年提出的量子論中的迭加原理和海森堡測不準原理得到了證明，這說明大自然從本質上講是一個不確定的系統(tǒng)，我們無法對大自然實施準確的測量，因而不確定性也是大自然能實現(xiàn)并行進化的原因，如量子計算機利用迭加態(tài)所構成的概率系統(tǒng)可以實現(xiàn)超強的并行計算能力，這一點提示我們得到以下猜想：算法的隱含并行性的出現(xiàn)與算法中采用概率方法構造的不確定性系統(tǒng)有直接關系，正是由于不確定性導致了算法出現(xiàn)隱含并行性這一現(xiàn)象。

媒體關注與評論

“云計算技術”從各種學術解釋和爭論的大雅之堂走入“尋常百姓家”，是自王鵬博士的《云計算的關鍵技術和應用實例》開始?！　　吨袊Q易報社》副社長劉德輝目前，幾乎所有與IT相關的個人和組織都在探討“云計算”這個新興的行業(yè)熱點，各大IT廠商和學術界紛紛提出自己的觀點、理論、技術和產品。初次涉及這一領域的讀者可能會有茫然無措的感覺，所以有必要從最基本的一些概念、知識和實例開始普及。本書為讀者打開了一扇通往“云計算”的便捷之門。　　——EMC大中華區(qū)技術解決方案中心教育推廣經理全球網絡存儲工業(yè)協(xié)會(中國)教育委員會副主席王永康本書將云計算以務實的方式展示到我們面前。特別是在書里提到的“云計算不信任節(jié)點服務器”的觀點，以不穩(wěn)定的計算節(jié)點構建出穩(wěn)定的云計算系統(tǒng)，從理論上讓云計算擺脫了高昂的硬件費用問題，這對云計算的普及、讓云計算進入實用化提供了一條新的道路?！芭f時王謝堂前燕，飛入尋常百姓家”，相信本書的出版必將推動云計算服務在實用化上的進程。　　——《軟件報》專欄撰稿人、應用服務器專家黃華峰王博士的《云計算的關鍵技術與應用實例》一書，從技術架構上給出了自己的云計算實踐和解決方案，使技術人員能夠了解云計算的背后故事和技術細節(jié)；企業(yè)用戶閱讀本書可以更好地了解云計算的概念、云計算對現(xiàn)有技術架構所帶來的影響、如何使自己私有企業(yè)技術架構平滑地過渡到云計算架構?！　　髽I(yè)應用資深技術顧問、SaaS架構開發(fā)設計資深技術顧問邢波濤本書高屋建瓴地從并行計算走向云計算，給我們在云計算的實施應用中指明了方向。王鵬博士在Google的云計算方面有深入的研究，使普通讀者學習云計算有了一個好的切入點?！　　髽I(yè)云計算網云計算中心強大的網絡計算能力使得同方云終端作為網絡計算終端成為可能?！　　迦A同方華北區(qū)銷售經理秦川

編輯推薦

《云計算的關鍵技術與應用實例》：引爆云計算熱潮《走進云計算》作者最新力作揭示云計算的關鍵技術數(shù)十位頂尖專家強力推薦給出具體的模型化實現(xiàn)實例和解決方法

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    云計算的關鍵技術與應用實例 PDF格式下載

---