云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用實(shí)例

前言

從并行計(jì)算、網(wǎng)格計(jì)算到云計(jì)算的發(fā)展歷程，是一個(gè)技術(shù)從陽(yáng)春白雪向下里巴人的發(fā)展過(guò)程。云計(jì)算使計(jì)算機(jī)上了云端，卻讓并行技術(shù)走進(jìn)了人們的生活。云計(jì)算從定位上講一開(kāi)始就是面向所有普通用戶的，所以云計(jì)算概念的提出馬上得到了一線IT企業(yè)和大眾的關(guān)注，使其成為一種改變現(xiàn)有計(jì)算機(jī)使用模式的革命性技術(shù)。Amazon的云計(jì)算系統(tǒng)在市場(chǎng)上的成功更是給了大家強(qiáng)大的信心。云計(jì)算的發(fā)展到底到了什么階段？我們以王國(guó)維在他的《人間詞話》中的一段話來(lái)描述，“古今之成大事業(yè)、大學(xué)問(wèn)者，必經(jīng)過(guò)三種之境界”。“昨夜西風(fēng)凋碧樹(shù)，獨(dú)上高樓，望盡天涯路”，此第一境也。“衣帶漸寬終不悔，為伊消得人憔悴”，此第二境也。“眾里尋他千百度，驀然回首，那人正在燈火闌珊處”，此第三境也。云計(jì)算發(fā)展到今天，我們認(rèn)為應(yīng)該還處于第一境界：望盡天涯路。前路漫漫，云計(jì)算最后將走向何方我們還不得而知，在技術(shù)上“你方唱罷我登場(chǎng)”，最后誰(shuí)會(huì)成功我們也不得而知，現(xiàn)在正是需要大家開(kāi)始以“衣帶漸寬終不悔，為伊消得人憔悴”的精神去找尋云計(jì)算的“天涯之路”，相信終會(huì)到達(dá)“眾里尋他千百度，驀然回首，那人正在燈火闌珊處”的境界。云計(jì)算概念被提出以后并行計(jì)算技術(shù)和虛擬化技術(shù)成為其核心支撐技術(shù)，云計(jì)算將按需計(jì)算帶給了普通的用戶，也使并行計(jì)算成為普通用戶方便使用的技術(shù)，而且并行計(jì)算中的“單一系統(tǒng)映像技術(shù)”實(shí)際也反映系統(tǒng)虛擬化的思想，所以從廣義來(lái)看并行計(jì)算技術(shù)本身可能包括虛擬化技術(shù)，因而并行計(jì)算技術(shù)是云計(jì)算技術(shù)中的一個(gè)相當(dāng)重要的技術(shù)基礎(chǔ)。云計(jì)算及高性能計(jì)算的逐步普及使并行程序設(shè)計(jì)成為許多程序設(shè)計(jì)人員不可避免的一項(xiàng)艱巨工作，特別是云計(jì)算、個(gè)人高性能計(jì)算機(jī)（PHPC）等技術(shù)的深入發(fā)展，使許多技術(shù)人員開(kāi)始從單機(jī)工作模式向并行計(jì)算模式轉(zhuǎn)變。由于并行程序設(shè)計(jì)現(xiàn)在還沒(méi)有一個(gè)很好的集成開(kāi)發(fā)平臺(tái)提供方便的組件給設(shè)計(jì)者使用，幾乎所有的設(shè)計(jì)工作都需要從底層自己完成，因此并行程序的設(shè)計(jì)往往使很多程序設(shè)計(jì)者望而卻步。MPI作為并行程序設(shè)計(jì)事實(shí)上的標(biāo)準(zhǔn)被廣泛地應(yīng)用于各個(gè)領(lǐng)域，不少企業(yè)及研究機(jī)構(gòu)逐步認(rèn)識(shí)到。MPI的重要性。

內(nèi)容概要

本書(shū)從并行計(jì)算切入，以全新的視角全面講述了云計(jì)算技術(shù)，主要內(nèi)容包括并行計(jì)算技術(shù)、云計(jì)算的關(guān)鍵技術(shù)、架構(gòu)及實(shí)例、云計(jì)算與智能、云計(jì)算技術(shù)的競(jìng)爭(zhēng)性分析等內(nèi)容?！　?shū)中針對(duì)云計(jì)算中的大量技術(shù)架構(gòu)、細(xì)節(jié)及戰(zhàn)略問(wèn)題提出了自己的看法和解決方案，并對(duì)云計(jì)算的底層技術(shù)給出了具體的模型化實(shí)現(xiàn)實(shí)例——云計(jì)算V0.01。這些內(nèi)容大多數(shù)來(lái)自于我們近期在云計(jì)算領(lǐng)域的研究成果和開(kāi)發(fā)實(shí)際項(xiàng)目經(jīng)驗(yàn)。　　全書(shū)內(nèi)容豐富，知識(shí)跨度較大，對(duì)云計(jì)算技術(shù)人員、技術(shù)戰(zhàn)略分析人員和愛(ài)好者均有重要的參考價(jià)值，也可供高等院校研究云計(jì)算和并行計(jì)算的研究者和同學(xué)作為參考資料及教材使用。

書(shū)籍目錄

第1篇　從并行計(jì)算到云計(jì)算  第1章　并行計(jì)算與云計(jì)算　    1.1　并行計(jì)算到云計(jì)算的演變　    1.2　云計(jì)算需要定義嗎？　    1.3　云計(jì)算是否是新瓶裝舊酒　    1.4　MPI與Hadoop，不同學(xué)科學(xué)者的選擇　    1.5　云計(jì)算與瀏覽器　  第2章　MPI并行計(jì)算環(huán)境的建立　    2.1　配置前的準(zhǔn)備工作　    2.2　掛載NFS文件系統(tǒng)　    2.3　配置ssh實(shí)現(xiàn)MPI節(jié)點(diǎn)間用戶的無(wú)密碼訪問(wèn)　    2.4　安裝MPICH2　    2.5　建立并行計(jì)算環(huán)境時(shí)的注意事項(xiàng)　  第3章　并行計(jì)算時(shí)代的程序設(shè)計(jì)方法　    3.1　最簡(jiǎn)單的并行程序　    3.2　獲取進(jìn)程標(biāo)志和機(jī)器名　    3.3　有消息傳遞功能的并行程序　    3.4　Monte Carlo法在并行程序設(shè)計(jì)中的應(yīng)用　    3.5　并行計(jì)算中節(jié)點(diǎn)間的Reduce操作　    3.6　用MPI的6個(gè)基本函數(shù)實(shí)現(xiàn)Reduce函數(shù)功能　    3.7　計(jì)算與通信的并行　    3.8　節(jié)點(diǎn)間自定義復(fù)雜數(shù)據(jù)結(jié)構(gòu)的傳輸　    3.9　MPI與MySQL數(shù)據(jù)庫(kù)的結(jié)合應(yīng)用　    3.10　設(shè)計(jì)MPI并行程序時(shí)的注意事項(xiàng)　  第4章　從MPI走向云計(jì)算　    4.1　MPI沒(méi)有分布式文件系統(tǒng)支持　    4.2　MPI無(wú)法應(yīng)對(duì)節(jié)點(diǎn)的失效　    4.3　假如用MPI來(lái)構(gòu)建云計(jì)算系統(tǒng)　第2篇　云計(jì)算的關(guān)鍵技術(shù)  第5章　Map/Reduce是云計(jì)算的選擇嗎　    5.1　Map/Reduce跨越50年的歷史　    5.2　實(shí)現(xiàn)Map/Reduce的C語(yǔ)言實(shí)例　    5.3　采用MPI實(shí)現(xiàn)并行化的Map/Reduce功能　  第6章　Hadoop技術(shù)　    6.1　Hadoop與MPI在數(shù)據(jù)處理上的對(duì)比　    6.2　Hadoop的主從式結(jié)構(gòu)　    6.3　Hadoop文件系統(tǒng)HDFS的前輩GFS　    6.4　構(gòu)建云文件系統(tǒng)需要解決的關(guān)鍵問(wèn)題　    6.5　云計(jì)算不相信節(jié)點(diǎn)服務(wù)器　    6.6　揭密云計(jì)算架構(gòu)下的典型服務(wù)器——Google服務(wù)器　  第7章　Hadoop環(huán)境的建立　    7.1　Hadoop配置環(huán)境　    7.2　配置ssh實(shí)現(xiàn)Hadoop節(jié)點(diǎn)間用戶的無(wú)密碼訪問(wèn)　    7.3　JDK的安裝配置　    7.4　Hadoop的安裝配置　    7.5　Hadoop中的Hello World　    7.6　C語(yǔ)言程序在Hadoop上運(yùn)行　  第8章　動(dòng)手做自己的云計(jì)算V0.01系統(tǒng)　    8.1　系統(tǒng)總體分析　    8.2　管理節(jié)點(diǎn)程序設(shè)計(jì)與分析　    8.3　子節(jié)點(diǎn)程序分析　    8.4　客戶端API設(shè)計(jì)　    8.5　客戶端應(yīng)用開(kāi)發(fā)實(shí)例　第3篇　云計(jì)算應(yīng)用實(shí)例  第9章　基于不可信服務(wù)器節(jié)點(diǎn)的云計(jì)算基礎(chǔ)架構(gòu)　  第10章　云計(jì)算與智能　  第11章　云計(jì)算企業(yè)之間的競(jìng)爭(zhēng)性分析　  后記　未來(lái)的計(jì)算——不確定性和隱含并行計(jì)算　  附錄　計(jì)算力的標(biāo)準(zhǔn)Linpack測(cè)試詳細(xì)指南　  參考文獻(xiàn)　

章節(jié)摘錄

插圖：（1）非阻塞數(shù)據(jù)發(fā)送函數(shù)：int MPI-Isend（void buf,int count，MPI-Datatype datatype，int dest，int tag，MPI-Comm comm，MPI-Request request）。參數(shù)描述：buf為數(shù)據(jù)發(fā)送緩沖區(qū)；datatype為MPI定義的數(shù)據(jù)類型；dest為目標(biāo)進(jìn)程號(hào)；tag為消息標(biāo)志；comm為通信域；request為非阻塞數(shù)據(jù)傳輸對(duì)象，在程序中用MPI Request類型定義。該函數(shù)調(diào)用后啟動(dòng)數(shù)據(jù)發(fā)送并且不等待數(shù)據(jù)發(fā)送成功而立即返回，非阻塞數(shù)據(jù)發(fā)送函比阻塞數(shù)據(jù)發(fā)送函數(shù)只多一個(gè)MPI-Request參數(shù)，用于檢測(cè)數(shù)據(jù)非阻塞數(shù)據(jù)發(fā)送的完成狀態(tài)。（2）非阻塞數(shù)據(jù)接收函數(shù)：int MPI Irecv（void buf,int count，MPI-Datatype datatype，int source，int tag，MPI-Comm comm，MPI_Request request）。參數(shù)描述：buf為數(shù)據(jù)接收緩沖區(qū)；datatype為MPI定義的數(shù)據(jù)類型；source為數(shù)據(jù)來(lái)源的進(jìn)程號(hào)；tag為消息標(biāo)志；comm為通信域；request為非阻塞數(shù)據(jù)傳輸對(duì)象，在程序中用MPI類型定義 Request該函數(shù)調(diào)用后啟動(dòng)數(shù)據(jù)接收并且不等待數(shù)據(jù)發(fā)送成功而立即返回。（3）等待非阻塞數(shù)據(jù)傳輸完成：int MPI-Wait（MPI-Request*request，MPI-Status*status）。參數(shù)描述：request為非阻塞數(shù)據(jù)傳輸對(duì)象，status為返回狀態(tài)。該函數(shù)調(diào)用后直到數(shù)據(jù)傳輸完成后才返回，并釋放該通信對(duì)象，調(diào)用該函數(shù)后數(shù)據(jù)傳輸一定是完成了的，所以我們?cè)谑褂脭?shù)據(jù)緩沖區(qū)前可以調(diào)用該函數(shù)來(lái)保證數(shù)據(jù)已成功傳輸。

后記

云計(jì)算技術(shù)的創(chuàng)新是應(yīng)用技術(shù)和架構(gòu)技術(shù)的創(chuàng)新，離徹底的技術(shù)變革還是有很長(zhǎng)的一段距離。云計(jì)算之后未來(lái)的計(jì)算技術(shù)要走向何方，從單機(jī)到并行計(jì)算、網(wǎng)格計(jì)算再到云計(jì)算，計(jì)算技術(shù)的逐步前進(jìn)使人類擁有了前所未有的信息處理能力，然而要實(shí)現(xiàn)真正的計(jì)算智能以計(jì)算機(jī)的簡(jiǎn)單疊加是不可能最后解決問(wèn)題的，由不確定性所導(dǎo)致的隱含并行性，也許是一個(gè)思路。計(jì)算技術(shù)的發(fā)展也許會(huì)走出這么一個(gè)軌跡：?jiǎn)螜C(jī)計(jì)算、并行計(jì)算、網(wǎng)絡(luò)計(jì)算、云計(jì)算、…、隱含并行計(jì)算。我們永遠(yuǎn)需要?jiǎng)?chuàng)新地去思考，技術(shù)的發(fā)展是沒(méi)有止境的。隱含并行性（Implicit：Parallelism）這一時(shí)常出現(xiàn)在計(jì)算機(jī)算法中的精靈，一直被計(jì)算機(jī)學(xué)者所忽視，隱含并行性的存在使一些算法具有神奇的并行搜索能力和復(fù)雜問(wèn)題的求解能力。我們?cè)趯?duì)遺傳算法隱含并行性以及物理學(xué)中不確定性理論研究的基礎(chǔ)上發(fā)現(xiàn)：隱含并行性存在于大量的智能算法中，正是由于隱含并行性的存在，使這類算法具備很強(qiáng)的解空間搜索能力。這一發(fā)現(xiàn)使我們意識(shí)到算法的隱含并行可能是一把解開(kāi)人工智能奧秘的鑰匙，對(duì)算法隱含并行性出現(xiàn)的物理本質(zhì)進(jìn)行解釋，將有助于我們從一個(gè)新的視角進(jìn)一步了解人工智能產(chǎn)生的機(jī)制。自然界的發(fā)展，人類從C、H、O原子進(jìn)化到高級(jí)智能生命體的過(guò)程，無(wú)不昭示著我們的大自然本身就是一個(gè)具有極強(qiáng)隱含并行能力的系統(tǒng)。無(wú)獨(dú)有偶，我們發(fā)現(xiàn)不只是遺傳算法，大量的自然算法如模擬退火算法、蟻群算法、神經(jīng)網(wǎng)絡(luò)算法、量子算法都具有對(duì)解空間的高效搜索能力，這些算法通過(guò)對(duì)大自然的模仿都具備了較強(qiáng)的信息搜索能力，從某種程度上實(shí)現(xiàn)了對(duì)智能行為的模擬。更為巧合的是這些算法無(wú)一例外的都采用了概率的方法，通過(guò)概率方法即使算法系統(tǒng)處于一種不確定的狀態(tài)。自然界的這種不確定性狀態(tài)在1900年提出的量子論中的迭加原理和海森堡測(cè)不準(zhǔn)原理得到了證明，這說(shuō)明大自然從本質(zhì)上講是一個(gè)不確定的系統(tǒng)，我們無(wú)法對(duì)大自然實(shí)施準(zhǔn)確的測(cè)量，因而不確定性也是大自然能實(shí)現(xiàn)并行進(jìn)化的原因，如量子計(jì)算機(jī)利用迭加態(tài)所構(gòu)成的概率系統(tǒng)可以實(shí)現(xiàn)超強(qiáng)的并行計(jì)算能力，這一點(diǎn)提示我們得到以下猜想：算法的隱含并行性的出現(xiàn)與算法中采用概率方法構(gòu)造的不確定性系統(tǒng)有直接關(guān)系，正是由于不確定性導(dǎo)致了算法出現(xiàn)隱含并行性這一現(xiàn)象。

媒體關(guān)注與評(píng)論

“云計(jì)算技術(shù)”從各種學(xué)術(shù)解釋和爭(zhēng)論的大雅之堂走入“尋常百姓家”，是自王鵬博士的《云計(jì)算的關(guān)鍵技術(shù)和應(yīng)用實(shí)例》開(kāi)始?！　　吨袊?guó)貿(mào)易報(bào)社》副社長(zhǎng)劉德輝目前，幾乎所有與IT相關(guān)的個(gè)人和組織都在探討“云計(jì)算”這個(gè)新興的行業(yè)熱點(diǎn)，各大IT廠商和學(xué)術(shù)界紛紛提出自己的觀點(diǎn)、理論、技術(shù)和產(chǎn)品。初次涉及這一領(lǐng)域的讀者可能會(huì)有茫然無(wú)措的感覺(jué)，所以有必要從最基本的一些概念、知識(shí)和實(shí)例開(kāi)始普及。本書(shū)為讀者打開(kāi)了一扇通往“云計(jì)算”的便捷之門。　　——EMC大中華區(qū)技術(shù)解決方案中心教育推廣經(jīng)理全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(中國(guó))教育委員會(huì)副主席王永康本書(shū)將云計(jì)算以務(wù)實(shí)的方式展示到我們面前。特別是在書(shū)里提到的“云計(jì)算不信任節(jié)點(diǎn)服務(wù)器”的觀點(diǎn)，以不穩(wěn)定的計(jì)算節(jié)點(diǎn)構(gòu)建出穩(wěn)定的云計(jì)算系統(tǒng)，從理論上讓云計(jì)算擺脫了高昂的硬件費(fèi)用問(wèn)題，這對(duì)云計(jì)算的普及、讓云計(jì)算進(jìn)入實(shí)用化提供了一條新的道路?！芭f時(shí)王謝堂前燕，飛入尋常百姓家”，相信本書(shū)的出版必將推動(dòng)云計(jì)算服務(wù)在實(shí)用化上的進(jìn)程?！　　盾浖?bào)》專欄撰稿人、應(yīng)用服務(wù)器專家黃華峰王博士的《云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用實(shí)例》一書(shū)，從技術(shù)架構(gòu)上給出了自己的云計(jì)算實(shí)踐和解決方案，使技術(shù)人員能夠了解云計(jì)算的背后故事和技術(shù)細(xì)節(jié)；企業(yè)用戶閱讀本書(shū)可以更好地了解云計(jì)算的概念、云計(jì)算對(duì)現(xiàn)有技術(shù)架構(gòu)所帶來(lái)的影響、如何使自己私有企業(yè)技術(shù)架構(gòu)平滑地過(guò)渡到云計(jì)算架構(gòu)。　　——企業(yè)應(yīng)用資深技術(shù)顧問(wèn)、SaaS架構(gòu)開(kāi)發(fā)設(shè)計(jì)資深技術(shù)顧問(wèn)邢波濤本書(shū)高屋建瓴地從并行計(jì)算走向云計(jì)算，給我們?cè)谠朴?jì)算的實(shí)施應(yīng)用中指明了方向。王鵬博士在Google的云計(jì)算方面有深入的研究，使普通讀者學(xué)習(xí)云計(jì)算有了一個(gè)好的切入點(diǎn)。　　——企業(yè)云計(jì)算網(wǎng)云計(jì)算中心強(qiáng)大的網(wǎng)絡(luò)計(jì)算能力使得同方云終端作為網(wǎng)絡(luò)計(jì)算終端成為可能。　　——清華同方華北區(qū)銷售經(jīng)理秦川

編輯推薦

《云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用實(shí)例》：引爆云計(jì)算熱潮《走進(jìn)云計(jì)算》作者最新力作揭示云計(jì)算的關(guān)鍵技術(shù)數(shù)十位頂尖專家強(qiáng)力推薦給出具體的模型化實(shí)現(xiàn)實(shí)例和解決方法

圖書(shū)封面

圖書(shū)標(biāo)簽Tags

無(wú)

評(píng)論、評(píng)分、閱讀與下載

---

    云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用實(shí)例 PDF格式下載

---