云計算

前言

　　什么是云計算　　很多人覺得云計算應該是個具體的事物，所以初聽到云計算時，總會先問一句：“什么是云計算”？　　什么是云計算？問的人輕松，回答的人卻很費力，仿佛描繪一種味覺，感覺強烈，卻不知如何抓住要領呈給面前的人看個仔細。倘若盡心給出一種解釋，或畫出一張架構圖，聽眾可能還是一臉茫然，回答的人多半會急得皺眉跳腳，也有人會撂下一句：“你記得是IaaS、PaaS和SaaS即可”。　　話雖好說，理卻難明。即使聽懂了解釋，還是有許多人會不知道“云計算”緣何而來，用于何處?！　?．　　“云計算”一詞最早被大范圍的傳播應該是在2006年。2006年8月，在圣何塞舉辦的SES（搜索引擎戰(zhàn)略）大會上，谷歌的CEO施密特（Eric Schmidt）在回答主持人提出的一個有關互聯(lián)網(wǎng)的問題時說：“……現(xiàn)在出現(xiàn)了一種新的商業(yè)模式……人們還沒有意識到這個機遇有多大。這種模式的前提是，數(shù)據(jù)服務的架構應該在他們稱為'云計算'的服務器上，即在某處的云里，如果你有合適的瀏覽器或接入方式，那么不論你有什么設備，你都可以訪問這些數(shù)據(jù)?！薄　『芏嗳苏J為云計算自此出現(xiàn)，因為從此之后各種有關云計算的概念層出不窮， “云計算”開始流行。　　但2006年出現(xiàn)的只是“云計算”這個詞，仿佛一個幕后工作人員忽然被主持人介紹到臺前拿了獎，在媒體長篇累牘的報道下，一夜成名。而實際上，云計算本身無論是商業(yè)模式還是技術都已經(jīng)發(fā)展了很長時間，并在實踐的過程中逐步演進。在2006年時，云計算本身未必發(fā)生質(zhì)變，但既然人們對云計算的認知發(fā)生了質(zhì)變，所以將其理論化、體系化勢在必行。德國政治學家伊麗莎白·諾艾爾-諾依曼（Elisabeth Noelle-Neumann）提出過一種“沉默的螺旋”（spiral of silence）的理論，認為人們在表達想法和觀點的時候，如果覺得自己的觀點是公眾中的少數(shù)派，就不愿意傳播自己的看法，但如果看到自己贊同的觀點受到廣泛歡迎，就會樂于公開表示自己的觀點或態(tài)度。這樣，多數(shù)派的聲音會越來越大，形成一種螺旋式上升的模式。云計算概念的忽然興起或許就與此相仿?！　‰m然谷歌為云計算命名，但真正明確云計算商業(yè)模式的是亞馬遜。在施密特態(tài)度鮮明地提出“云計算”這個詞的幾個星期之后，亞馬遜推出了EC2（動態(tài)計算云）服務，將“云”這個名詞包含在內(nèi)。　　亞馬遜是個神奇的公司，銷售包括圖書、DVD、電腦、軟件、電視游戲、電子產(chǎn)品、衣服、家具、計算資源等一切適合電子商務的“商品”。在推出EC2的時候，亞馬遜也面臨不少“這個零售商為什么想做這些”的質(zhì)疑，但CEO貝索斯對商業(yè)的概念理解明顯要寬泛很多。貝索斯無疑認為不管是“PC+軟件”，還是這種從“云”里取得服務的方式，不僅關乎技術的問題，還都是一種“商業(yè)模式”。最早時，為了讓網(wǎng)站能支持大規(guī)模的業(yè)務，亞馬遜在基礎設施建設上花了很大功夫，自然也積累了很多經(jīng)驗。為了將平時閑置的大量的計算資源也作為商品出售，貝索斯的亞馬遜公司先后推出了S3（簡單存儲服務）和EC2等存儲、計算租用服務。貝索斯表示，“我們認為在某一天這也會是一項非常有意思的業(yè)務，所以我們這么做的目的很簡單：我們認為這是個好業(yè)務?！盵1] 雖然媒體認為這是貝索斯安全度過　　互聯(lián)網(wǎng)泡沫之后的一筆冒險賭注，“亞馬遜的CEO想要用他網(wǎng)站背后的技術來運行　　你的業(yè)務，但華爾街只想他看好自己的店面?！盵2] 但EC2確實影響了整個行業(yè)，也影響了很多人，當時業(yè)界明顯受到了震動?！　≡趤嗰R遜之前，雖然有不少服務按現(xiàn)在來看都有云計算服務的特征，但即使是谷歌所提供的服務，仍然可以看做是互聯(lián)網(wǎng)服務意義內(nèi)的一種商業(yè)模式。而亞馬遜推出IaaS（基礎設施即服務）之后，仿佛給互聯(lián)網(wǎng)世界開了一扇窗，告訴人們，還可以這樣來運營計算資源，還有一種新的商業(yè)模式，叫云計算。而那些與傳統(tǒng)互聯(lián)網(wǎng)服務形似神離的服務模式，也終于可以獨立出來，找到自己歸屬的陣地--云計算服務?！　?．　　云計算起源于互聯(lián)網(wǎng)公司。雖然互聯(lián)網(wǎng)公司給人的印象大多是錢多燒不完，但其實多數(shù)互聯(lián)網(wǎng)公司都很注重成本控制。尤其是早期不少互聯(lián)網(wǎng)公司都起源于學生宿舍，費用的掣肘使這些公司盡可能合理地利用每一個硬件，最大程度地發(fā)揮機器的性能。所以早期的互聯(lián)網(wǎng)公司都會自己選主板、硬盤等配件，然后進行組裝，完成服務器硬件的設計。這種傳統(tǒng)沿襲下來，就是現(xiàn)在硬件定制化日趨流行的原因。如今谷歌、Facebook都會自己動手設計和生產(chǎn)服務器，以最少的配件最大可能地支持特定功能需求，并降低服務器的能耗。　　對于硅谷工程師而言，超級家電連鎖店Fry's或許是最值得逛的“購物天堂”。硅谷有不少Fry's的連鎖店，由于Fry's占地面積很大，東西齊全且便宜，理論上一個技術人員可以在這里買到所有的零配件，然后組裝一個主板，所以這里很受工程師的歡迎。雅虎的工程師們也曾是Fry's的常客。　　2000年，互聯(lián)網(wǎng)經(jīng)濟處于第一波熱潮中。這時全球互聯(lián)網(wǎng)用戶人數(shù)已經(jīng)從1995年的幾千萬增至數(shù)億，并仍在不斷快速增長?？焖僭鲩L的用戶數(shù)量，使許多網(wǎng)站感受到了系統(tǒng)支撐的壓力。雅虎也一樣。當時雅虎經(jīng)常面臨的一個問題是，一個頻道設計完成之后，在上線之前測試可支撐一定數(shù)量的用戶（比如10萬人），但第二天一上線就出現(xiàn)達到指標的情況。怎么辦？只有增加設備，盡可能提高系統(tǒng)對服務的支撐能力，因此即刻購買設備然后連夜組裝機器的情形并不少見。到Fry's選買配件是不少工程師的工作內(nèi)容之一，當然也是樂趣之一。雅虎的共同創(chuàng)始人之一大衛(wèi)·菲洛（David Filo）至今還喜歡組裝機器，不知道是不是一種習慣使然?！　榱酥螛I(yè)務運轉，滿足用戶需求，服務器的整體性能在不斷上升，相應地，服務器的數(shù)量也在不斷增加。這很自然會引出一個問題，數(shù)十臺機器可以手動組裝維護，上千臺機器如何處理？甚至，如果機器數(shù)上萬呢？人能管理的機器數(shù)量始終有限，即使勞作不休，所能承受的負荷也有一定的極限。每一個大型互聯(lián)網(wǎng)公司，都曾遇到過這個問題：如何管理和維護成千上萬臺服務器？　　很多事情在講述的時候似乎很有意思，但當時經(jīng)歷的時候會讓人覺得絕望?！按笙到y(tǒng)”的壓力對于系統(tǒng)維護工程師而言，就是這樣的事情。2000年初，筆者(注：此處指姚宏宇博士。)當時在雅虎公司編程之外做的最多的兩件事，現(xiàn)在聽起來或許還有些“土”：一件是組裝機器，一件是維護機器，而這只是為了保證在足夠多且可靠的硬件支撐下，業(yè)務系統(tǒng)能夠有效應對不斷快速增長的用戶需求。在當時，筆者加班到晚上十點鐘左右是常有的事，然后還要從加利福尼亞州的桑尼維爾（Sunnyvale）開車回家，再和朋友一起找地方吃飯。由于住的地方位于南圣何塞（South San Jose），附近是越南人聚集地，太晚的時間只有越南米粉（Pho）可以吃，于是以越南米粉果腹的時間持續(xù)有半年之久，以致現(xiàn)在對“牛肉粉（Beef Pho）”產(chǎn)生排斥感。吃完飯之后回去還要繼續(xù)工作，凌晨兩、三點才能睡覺。美股的開盤時間是東部時間9：30~16：00，這意味著在此之前必須保證交易網(wǎng)站服務的正常運行，所以必須每天早上6點準時起床，來檢查系統(tǒng)的運行狀態(tài)。很多人每天都會收到大量郵件，但早上剛起床就看到上萬封郵件和幾百條呼叫（Pager）信息，并且全部來自機器的情況并非人人都有體會，雖然是專職于此的技術人員，這種極大的壓力狀況還是很容易讓人產(chǎn)生無力感，持續(xù)下去會有崩潰的感覺。怎么辦？只有把雅虎財經(jīng)頻道大部分的底層代碼進行重寫，找回些生活?！　‖F(xiàn)在看來，大量用戶帶來的大流量的壓力，以及大系統(tǒng)的問題不僅對于每一個互聯(lián)網(wǎng)公司來說仍然普遍存在，而且已經(jīng)開始越來越多的出現(xiàn)在其他傳統(tǒng)企業(yè)中。谷歌在1998年時的訪問量約為每天1萬次，但到2007年時，日訪問量已達到5億多次，機器數(shù)量也已經(jīng)超過50萬臺。對于大多數(shù)互聯(lián)網(wǎng)企業(yè)而言，雖然服務器規(guī)模不至于如此龐大，但隨著用戶規(guī)模的增加，少則數(shù)百臺，多則上千臺的服務器仍然對企業(yè)的運維管理能力提出了挑戰(zhàn)?！　τ谄髽I(yè)來說，隨著系統(tǒng)越來越大，維護人員卻不能對應成比例增長--企業(yè)要考慮人力成本，還要顧及運維效率的問題--即便如此，雅虎在某一階段有過半的成本都耗在舊有設備和系統(tǒng)的維護上，而無法把大部分資金投入到新業(yè)務的開發(fā)中。公司能創(chuàng)造新價值的部分越來越少，創(chuàng)新也越來越少，只能求變。　　除了大規(guī)模系統(tǒng)的維護之外，海量數(shù)據(jù)的存儲問題同樣是互聯(lián)網(wǎng)公司頭疼的問題所在，隨著網(wǎng)絡技術和服務的快速發(fā)展，用戶平均在線時間的延長和用戶網(wǎng)絡行為的多樣化，導致各類數(shù)據(jù)在不斷涌現(xiàn)，移動終端的出現(xiàn)更是擴充了網(wǎng)絡服務的內(nèi)容與范圍，這些都大大增加了互聯(lián)網(wǎng)公司需要承載的數(shù)據(jù)量。大量的用戶數(shù)據(jù)對每一個公司而言都是寶貴的信息財富，但是如果只是購買郵箱存儲設備一年就要花費幾億美金的話，每個CEO都會再權衡一下，于是雅虎后來有了Hadoop的研發(fā)?！　∫虼?，在流量和服務器數(shù)量都高速增長的情況下，“一個能夠與網(wǎng)頁增長速度保持同步的系統(tǒng)”[3]必不可少，這也是谷歌三篇有關分布式的論文*(注：這三篇論文分別是有關GFS（Google File System）分布式存儲系統(tǒng)、MapReduce分布式處理技術和BigTable分布式數(shù)據(jù)庫的論文，下文也有所提及。)之所以具有重要指導意義的原因--一切均出自實踐。　　隨著信息經(jīng)濟的發(fā)展，許多傳統(tǒng)企業(yè)現(xiàn)在也在加速向互聯(lián)網(wǎng)化轉型。最初存在于互聯(lián)網(wǎng)企業(yè)的壓力也出現(xiàn)于其他組織機構中，對大數(shù)據(jù)的管理和處理需求也在這些組織中產(chǎn)生。比如一個政府部門，如果考慮到信息中心和各垂直部門的信息資源，可能會有數(shù)千臺服務器和數(shù)百套業(yè)務系統(tǒng)需要整合和管理，而且多數(shù)分布于不同的地理位置。如何對這些資源進行集中統(tǒng)一管理？　　或許，這些組織也可以考慮選擇云計算?！　?．　　對于大多數(shù)中小型組織，甚至于個人而言，云計算的魅力來自那些靈活、彈性和隨時隨處可用的云計算服務，比如亞馬遜的計算資源租用服務，或者一些針對企業(yè)和個人的“云存儲”服務。這些服務是大多數(shù)人與云計算最直接的接觸，也形成了他們對云計算的直觀認識。但是我們知道，云計算應該包含兩方面的內(nèi)容：服務和平臺。云計算既是商業(yè)模式，也是技術。　　美國加州大學伯克利分校在一篇關于云計算的報告中，就認為云計算既是指在互聯(lián)網(wǎng)上以服務形式提供的應用，也是指在數(shù)據(jù)中心里提供這些服務的硬件和軟件，而這些數(shù)據(jù)中心里的硬件和軟件則被稱為“云”[4]?！　≡朴嬎惴沾硪环N新的商業(yè)模式，SaaS（軟件即服務）、PaaS（平臺即服務）和IaaS（基礎設施即服務）是這種商業(yè)模式的代表表現(xiàn)形式，美國國家標準與技術研究院（NIST）就曾于2011年發(fā)布過一份《云計算概要及建議（草案）》 （DRAFT Cloud Computing Synopsis and Recommendations）的報告，對SaaS、PaaS和IaaS等進行了詳細說明。很多人認為SaaS必須運行在PaaS上，PaaS必須運行在IaaS上，但實際上三者之間并沒有絕對的層次關系，它們都是一種服務，可以有層次疊加關系，也可以沒有?！　τ谌魏我环N商業(yè)模式而言，除了理論上可行之外，還要保證實踐上可用。因此，伴隨著云計算服務理念的發(fā)展，云計算也形成了一整套技術實現(xiàn)機制，而云計算平臺則是這套機制的具體體現(xiàn)。　　但云計算服務和云計算平臺之間并沒有相互依存的必然關系。即如果以傳統(tǒng)的底層架構，或類似超級計算等實現(xiàn)的服務具備云計算服務的三個特點：大用戶群、永遠在線，以及隨時隨地可接入，也可稱為云計算；而云計算平臺本身在設計上就針對了“大用戶”、“大數(shù)據(jù)”和“大系統(tǒng)”的問題提出了解決辦法，這也是在提供云計算服務時會遇到的典型問題；所以，以云計算平臺支撐的云計算服務，不僅可以提高服務的效率，而且還會充分發(fā)揮平臺的能力和優(yōu)勢。　　很多人會把服務和平臺模糊起來進行介紹，也有很多人因此會混淆對云計算的認知?？吹皆朴嬎悖佳壑g都覺得熟悉，便以為是舊識，不待招呼細聊，引手就向別人介紹，這是云計算，以前是……　　按照“選擇性認知（selective perception）”的理論，人們在處理信息時都有一種選擇性傾向。人們不可能吸收他們所觀察到的所有信息，而只能從接收到的零碎信息中依據(jù)自己的興趣、背景、經(jīng)驗和態(tài)度主動地進行選擇性接受。因而知識結構、看問題的視角和商業(yè)利益的各不相同，就使各個群體對云計算形成了多種解讀方式。　　從技術角度而言，云計算最早的出身，應該是超大規(guī)模分布式計算。比如雅虎為了解決系統(tǒng)對大規(guī)模應用的支撐問題，而設計的超大規(guī)模分布式系統(tǒng)，目的就在于將大問題分解，由分布在不同物理地點的大量計算機共同解決。但隨著技術不斷的發(fā)展和完善，云計算在解決具體問題時，借鑒了不少其他技術和思想，包括虛擬化技術、SOA（面向服務架構）理念等，所以很多人乍看之下會覺得相似。但云計算與這些技術有根本性的差別，不僅體現(xiàn)在商業(yè)應用上，還體現(xiàn)在實現(xiàn)細節(jié)上，本書將在之后的章節(jié)對此進行較為詳細的說明?！　∥覀冎?，所有科學的認識都是以一種層次遞進、螺旋上升的方式發(fā)展的，每一種技術都有其適用的場景和范圍，比如量子力學不會否認經(jīng)典力學在一些物理問題上的作用。所以，對于云計算來說，糅合了各種技術不代表云計算比其他技術更優(yōu)秀，而是說明云計算技術確實是針對“大用戶”、“大數(shù)據(jù)”和“大系統(tǒng)”發(fā)展出來的一種新的實現(xiàn)機制?！　×硗?，為了區(qū)分云計算的部署使用方式，現(xiàn)在經(jīng)常提到的還有“公有云（Public Cloud）”、“私有云（Private Cloud）”和“混合云（Hybrid Cloud）”的概念?！　」性仆ǔＪ侵搁_放給公眾使用的云基礎設施?？梢允瞧髽I(yè)、院校、政府機構，也可以是一些合作機構來持有、管理和運營公有云。私有云通常是指為一個客戶單獨使用而構建的云基礎設施，因而提供對數(shù)據(jù)、安全性和服務質(zhì)量的最有效控制，并可以控制在此基礎設施上部署應用程序的方式。通常，多數(shù)中小型企業(yè)可以從不同服務商提供的各種公有云服務中受益，而鑒于現(xiàn)在企業(yè)所需面對的用戶量、數(shù)據(jù)量及系統(tǒng)復雜度都在快速增長，即便是一個小企業(yè)所面臨的壓力，從過去的大型企業(yè)的角度來看也都已經(jīng)是“大”問題，因此通過建設私有云來應對系統(tǒng)壓力、滿足業(yè)務系統(tǒng)需求，正在成為越來越多企業(yè)和組織的選擇，并且隨著企業(yè)規(guī)模的增加，私有云建設所能帶來的收益也在愈發(fā)突顯?！　默F(xiàn)實情況看，公有云和私有云的區(qū)別主要體現(xiàn)在商業(yè)應用方面，技術上應該是互通的，區(qū)別不大。技術層面最根本的區(qū)別是訪問權限和訪問模式的控制，即可訪問的范圍決定了“云”的業(yè)務性質(zhì)。如前所述，通常意義下，私有云所面向的是一個組織機構，而非公眾，但這界限其實并不絕對和清晰。比如谷歌的云操作系統(tǒng)，對內(nèi)使用而言是私有云，而對外提供Google App Engine時，就變成了公有云的PaaS服務?；旌显埔膊⒎前搿八接小卑搿肮小?，而是在某一塊資源不夠的情況下，從另一處借用而已。比如游戲服務提供商Zynga有自己的“云”運行服務，但在用戶使用高峰期時，又會租用亞馬遜的IaaS服務。　　長遠來看，公有云是云計算的最終目的，但私有云和公有云會以共同發(fā)展的形式長期共存。好比銀行服務的出現(xiàn)，貨幣從個人手中轉存到銀行保管，是一個更安全、方便的過程，但也會有人選擇自己保管，兩者并行不悖。　　4．　　云計算的一個特別之處，在于從技術上創(chuàng)造性地給出了一種靈活可靠的組織機制，通過將各種資源進行快速調(diào)度和組合，來滿足不同業(yè)務應用的需求。這種不但適用于業(yè)務模塊，而且適用于底層硬件資源的“積木式重組”思想，重新定義了反映在上層的計算資源的使用方式、服務的提供方式，以及社會化大生產(chǎn)的協(xié)作過程，為我們解決互聯(lián)網(wǎng)帶來的“大”問題和創(chuàng)新服務模式帶來了一種全新的思路。也就是說，云計算帶來了一種組織和實現(xiàn)機制，使我們可以組織資源以服務，組織技術以實現(xiàn)，組織流程以應變。　　通過云計算技術的使用，大量的硬件資源可以通過虛擬化技術結合成一個有機整體，然后通過數(shù)據(jù)傳輸、負載均衡等技術來相互依賴，相互作用，完成預設功能，形成一個標準概念上的“系統(tǒng)”。這個系統(tǒng)的特征，是在物理上分散，在邏輯上集中，也就是我們說的分布式集中。　　比如，當聽說亞馬遜EC2云基礎設施平臺分布在全球7000多個機架上，或者谷歌在全球有將近100萬臺服務器時，你或許會有些驚訝，因為對于不同地區(qū)的訪問者而言，相應的服務在使用體驗上感受不到任何的差別。對于企業(yè)來說，不論有多少臺服務器，分布在全國多少地方，只要可以聯(lián)網(wǎng)，則在資料存儲和管理、系統(tǒng)使用和維護上，都可以實現(xiàn)“集中”化?！　∵@種大量資源的邏輯集中，一是意味著通過技術手段充分利用這些資源，我們可以滿足“大用戶”的需求，解決“大數(shù)據(jù)”的問題；二是通過對不同資源（硬件、應用）進行調(diào)度，我們可以基于一個平臺提供多種服務，即各種IaaS、PaaS和SaaS，以及XaaS（一切皆為服務），滿足各類用戶的需求?！　∮薪M織，必然有管理。既然云計算創(chuàng)新性地將大量計算資源組織在一起，協(xié)同工作，則云計算必須在信息技術的層面，給出一種針對大規(guī)模系統(tǒng)的科學管理辦法。這種方法能夠解決資源組織管理過程中的各種問題。比如：在增加節(jié)點、擴大系統(tǒng)規(guī)模的同時，還能保證系統(tǒng)性能的近線性提高。在系統(tǒng)任何一個部分都有可能出問題的情況下，保證系統(tǒng)整體的穩(wěn)定運行。在面臨不同的業(yè)務需求時，快速將資源重新組織，以新的架構適應變化。這些都要求云計算創(chuàng)新性地將各種技術組織起來，“調(diào)和”實現(xiàn)各種功能。所以，從某種意義而言，云計算是信息技術的“系統(tǒng)工程”?！　∥覀冎溃到y(tǒng)總是處在一定的環(huán)境背景中，與環(huán)境保持著某種程度的質(zhì)量、能量和信息的交換。一個龐大的信息系統(tǒng)內(nèi)部會產(chǎn)生多種變化，外部的需求和環(huán)境也隨之而改變，所以整個系統(tǒng)必須不斷自我管理和調(diào)整應對變化。反映在應用層面，則是指大量計算資源組織在一起，必須通過系統(tǒng)內(nèi)部資源的整合來支撐各種應用，并可通過快速重組來應對變化，通用于各種網(wǎng)絡服務。為此，作為底層技術支撐的云計算　　平臺具有六大技術思想：彈性、透明、積木化、通用、動態(tài)和多租賃。這六大技術思想的靈活使用，決定了云計算平臺可以通過虛擬化技術整合各類軟硬件資源，可以借鑒SOA的理念實現(xiàn)系統(tǒng)和硬件層面的松耦合，進行計算、存儲和應用的自由調(diào)度，以及可以通過負載均衡等方法解決“大”問題?！　∪缤瑯犯叻e木模塊之間可隨意拼接的“松耦合”性，在一個高彈性可遷移的體系架構下，通過工作流引擎等方式，云計算平臺可實現(xiàn)硬件資源和應用模塊的動態(tài)調(diào)用。在這種我們稱為“積木化”的技術思想下，云計算平臺可以將資源和模塊重新組合，快速形成新的流程來應對業(yè)務需求變化。這樣，企業(yè)在業(yè)務轉型或業(yè)務拓展時，如果需要底層IT系統(tǒng)提供信息化支持，則只需明確業(yè)務流程，即可由云計算平臺快速實現(xiàn)業(yè)務系統(tǒng)的重構，為業(yè)務革新帶來新的可能。　　可以說，云計算擴大了我們對服務的定義，并帶來了一個全新的計算資源管理思路，以及一種信息技術的系統(tǒng)工程理念?！　?．　　云計算的發(fā)展起源自互聯(lián)網(wǎng)公司，但由于各互聯(lián)網(wǎng)公司的業(yè)務方向不同，也造成了各公司發(fā)展云計算技術的路線并不相同，有如不同的技術流派，各有特點?！　≡诨ヂ?lián)網(wǎng)普及的早期，最知名的互聯(lián)網(wǎng)公司有雅虎，亞馬遜、谷歌和eBay四家，其中前三家都有其獨特的云計算技術理念?！　⊙呕⒁运阉饕嫫鸺?，隨著商業(yè)理念的轉變，很快發(fā)展到門戶網(wǎng)站的模式。早期的雅虎基本上代表了互聯(lián)網(wǎng)的全部形態(tài)，包括服務內(nèi)容和廣告模式等，雅虎一應俱全。所以對于雅虎來說，其支撐平臺必須適應互聯(lián)網(wǎng)上的所有應用，從某種角度而言，這也是所謂云計算平臺真正意義的體現(xiàn)。因此雅虎初期在發(fā)展大規(guī)模分布式系統(tǒng)的時候，考慮最多的是通用性，即支持各種應用，而非存儲的問題，因此造成了在一段時期內(nèi)雅虎在郵箱存儲方面成本極高。為解決郵箱存儲和搜索效率的問題，2006年初，在邀請道格·卡廷（Doug Cutting）加入之后，雅虎開始推動Apache軟件基金會Hadoop項目的發(fā)展，并自此成為Hadoop發(fā)展的最主要推動力量之一。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架（其logo如圖1所示），主要由HDFS（文件系統(tǒng)）、MapReduce（計算系統(tǒng)）和Hbase（數(shù)據(jù)庫）等組成?！? 其黃色小象的標識，據(jù)說原型是經(jīng)典兒童讀物《霍頓與無名氏》（Horton Hears A Who ）里的小象霍頓（Horton）。道格·卡廷起初只是想把Hadoop應用于搜索領域，但當時雅虎負責Hadoop團隊的巴爾德施維勒（Baldeschwieler）則認為，雅虎之所以選擇Hadoop并將其開源，是因為“意識到Hadoop將成為一種'通用'技術”[5]。不管怎樣，Hadoop的發(fā)展超出了所有人的想象，亞馬遜、Facebook、eBay等都在使用Hadoop，雅虎基于Hadoop驅(qū)動的服務也不止搜索引擎一項。但如果說技術思想，Hadoop卻應歸屬于谷歌派。比如HDFS對應GFS的開源實現(xiàn)，MapReduce對應Google MapReduce，HBase對應Google BigTable?！　」雀柙缙诘臉I(yè)務主要是搜索，所以整個系統(tǒng)的設計主要是為了保證大塊（大文件和大數(shù)據(jù)塊）數(shù)據(jù)的查詢和搜索的效率和可用性，所以谷歌早期的技術理念以存儲為根本，并在此之上建立所有的體系。2003年，谷歌在SOSP（操作系統(tǒng)原理會議）上發(fā)表了有關GFS分布式存儲系統(tǒng)的論文，而后又先后于OSDI（操作系統(tǒng)設計與實現(xiàn)會議）上發(fā)表了有關MapReduce分布式處理技術和有關BigTable分布式數(shù)據(jù)庫的論文。這三篇論文促成了之后雅虎系Hadoop、HDFS、Hbase等開源技術產(chǎn)品的誕生，以及Facebook數(shù)據(jù)庫系統(tǒng)Cassandra的實現(xiàn)。但由于GFS主要為搜索而設計，不是很適合后來推出的一些新產(chǎn)品，所以谷歌之后的新文件系統(tǒng)在設計時有所改變?！　嗰R遜以電子商務為主，所以其底層架構的核心作用就是要保證在線交易的不中斷。與GFS、HDFS相比，亞馬遜的存儲平臺Dynamo更適于“存儲相對較小的對象（小于1M）”[6]，這使得亞馬遜可以處理更多用途的數(shù)據(jù)，比如電子商務處理中的購物車信息，以及其他交易系統(tǒng)的數(shù)據(jù)等。另外在存儲數(shù)據(jù)時，Dynamo采用了哈希算法切分數(shù)據(jù)，將數(shù)據(jù)在一個節(jié)點“環(huán)”內(nèi)均勻存儲，分擔壓力，與GFS、HDFS“一個主控服務器（Master）＋多個子表服務器（Chunk Server）”的構成方式有所區(qū)別。雖然亞馬遜的分布式系統(tǒng)不是很通用（針對應用層面而言），但亞馬遜的云計算平臺融合了多方的技術，屬于混合派?！　〕酥?，在提供云計算解決方案的廠商中，技術起源比較清晰的還有VMware。VMware成立之初，主要是向企業(yè)客戶提供虛擬化解決方案，這決定了其技術路徑是自單機虛擬化做起，向上發(fā)展出更高層面的虛擬化技術來部署云計算平臺。在云計算方面，與谷歌、亞馬遜等公司會借助平臺技術提供云計算服務相比，VMware當前的定位主要是向企業(yè)客戶提供云計算平臺產(chǎn)品和云計算解決方案，幫助客戶構建和管理云。自2008年保羅·馬里茲（Paul Maritz）任職VMware CEO后，VMware實施了多項收購行動來強化其云計算戰(zhàn)略，以確保自身在“虛擬化和云計算基礎架構領域”的領先地位，這包括對應用程序開發(fā)框架供應商SpringSource、托管電子郵件廠商Zimba，以及網(wǎng)絡虛擬化軟件供應商Nicira的收購等。目前看來，借由虛擬化技術實現(xiàn)的各種硬件資源的“池化”，以及在此基礎上不斷豐富完善的配　　置、調(diào)度和管理功能，是VMware云計算平臺的基本特點?！　〉绻覀儞Q個角度來看，分布式系統(tǒng)的核心理念，是通過網(wǎng)絡將物理上分散的計算資源連接起來解決問題。解決了網(wǎng)絡問題，就可以解決分布式系統(tǒng)中的“距離”問題。因此，如果能在總結各方經(jīng)驗的基礎上，重新梳理云計算平臺在實際應用中遇到的問題，以一種從整體而言更為合理的架構來開發(fā)云計算平臺，不失為發(fā)展和應用云計算技術的一條新途徑?！　『喲灾?，即以網(wǎng)絡協(xié)同為基礎，在此之上建立資源的調(diào)度、存儲體系，同時在網(wǎng)絡層就解決網(wǎng)絡的協(xié)同問題，為上層開發(fā)打基礎。這樣，如果我們可以針對“通信”、“存儲”和“管理”提供一整套解決方案，即可實現(xiàn)云計算平臺的“通用”性。當然，盡管各種“流派”的技術理念和實現(xiàn)方法都不一樣，但其目的都是為了解決“大數(shù)據(jù)”、“大系統(tǒng)”的問題，并為上層業(yè)務應用提供支撐，所以在優(yōu)劣上沒有可比性。對于用戶而言，適合自己的才是最好的，在選擇云計算技術服務時，需要從業(yè)務場景、開發(fā)能力、以及資金預算等各方面綜合考慮?！　?．　　有些人覺得云計算“云里霧里”，是忽悠。這是一種誤解?！　∈紫葟姆盏慕嵌日f，云計算的落地是已然確定的，大家使用到的Saleforce.com的在線CRM應用，蘋果的iCloud，谷歌的App Engine，亞馬遜的S3、EC2等都是云計算服務。作為互聯(lián)網(wǎng)服務的一種延伸，云計算服務或許可被稱為Internet 2.0。云計算服務很自然有一些互聯(lián)網(wǎng)服務的特征，但也有自己的特點，形成了新商業(yè)模式，比如“按需使用”、“多租戶支持”等。這種服務方式已經(jīng)在用其產(chǎn)生的市場力量影響著人們的生活和工作，影響著企業(yè)的業(yè)務模式和經(jīng)營思想，以及社會的方方面面?！　”热缑绹倓展芾砭郑℅SA）在將門戶網(wǎng)站USA.org遷移至一家公司提供的云服務中之后，網(wǎng)站升級時間從包括設備采購在內(nèi)的九個月，縮減至最多一天。傳統(tǒng)的主機設置下，每月的宕機時間大概為2小時，而在云的解決方案下，宕機時間基本為零。按其舊有設置，美國總務管理局每年要為USA.gov支付235萬美元，這包括共計200萬美元的硬件更新和重新獲得軟件許可的成本，以及35萬美元的人力成本。而在遷移到云服務之后，總務管理局目前在USA.gov上一年支付費用僅為65萬美元，這意味著節(jié)省了170萬美元的所有相關費用。[7]　　其次，從技術應用的角度看，云計算平臺給出了一種新的計算資源的使用和管理思路。在云計算之前，購買更多更高性能的服務器，是企業(yè)應對大用戶、大數(shù)據(jù)問題時的唯一選擇。而云計算的出現(xiàn)，創(chuàng)新性地以“分布式集中”的方式，將分散的廉價計算資源組合在一起，發(fā)揮“群體”的功能，來應對大用戶和大數(shù)據(jù)的壓力，從而形成了新的“機器管理機器”的思路，在技術實現(xiàn)上有完整的體系架構?！　〕嗰R遜、谷歌、Salesforce.com等互聯(lián)網(wǎng)企業(yè)使用云計算平臺構建自己的業(yè)務系統(tǒng)不說，在中國國內(nèi)的各領域中，云計算平臺也已經(jīng)落地使用，服務各類組織機構。比如我們曾幫一個全國性的政府機構構建數(shù)據(jù)云系統(tǒng)，把分布于全國數(shù)百個地市內(nèi)的業(yè)務系統(tǒng)中生成與維護的業(yè)務數(shù)據(jù)，進行集中存儲管理，并保證系統(tǒng)整體性能，以及高可靠性和高可用性。也曾幫助某電網(wǎng)公司通過對現(xiàn)有IT系統(tǒng)的部分子系統(tǒng)進行云化改造，實現(xiàn)了對分布于不同地區(qū)的業(yè)務系統(tǒng)的集中管理和統(tǒng)一調(diào)度，以及所有業(yè)務數(shù)據(jù)的統(tǒng)一存儲?！　∫虼?，不論對于個人生活，還是企業(yè)應用，云計算都產(chǎn)生著深刻的影響。一些人認為云計算還有些“虛”，一是因為云計算還處于普及推廣的過程中，云計算應用的大量“落地”需要時間；二是因為就公有云而言，很多人或者企業(yè)從心理上還沒做好接受云計算服務的準備，不放心將數(shù)據(jù)“存放”在他處。然而，回顧信息技術的發(fā)展歷史，我們可以發(fā)現(xiàn)，不論是從大型機到個人電腦，將電腦帶給所有人的階段，還是從個人電腦到互聯(lián)網(wǎng)，將信息帶給所有人的階段，新的信息技術從出現(xiàn)到普及應用都有一個漸進的過程?！　∪缤环N進化，社會自身會不斷向前推進發(fā)展，并因此而產(chǎn)生不同的遞進式的服務模式和技術需求。人們對計算的需求，促進了計算機的普及發(fā)展；溝通分享的需求，又促進了互聯(lián)網(wǎng)的誕生。云計算也是一種社會需求推動的結果。在獲取知識、不斷創(chuàng)新和分享的渴望下，人們對信息服務和產(chǎn)品不斷提出新的要求。云計算的出現(xiàn)，一方面解決了系統(tǒng)層面日趨突顯的壓力問題，另一方面拓寬了網(wǎng)絡應用的范疇和創(chuàng)新的可能性，在極大降低人們創(chuàng)造知識和分享知識成本的前提下，進一步滿足了人類社會獲取、創(chuàng)新、分享知識的需求。因此，云計算是信息社會發(fā)展的必然產(chǎn)物。隨著應用環(huán)境的發(fā)展，云計算會越來越普及，帶來一個全新體驗的信息社會?！　⊥ǔＫf工業(yè)革命的意義之一，在于使人們擺脫了生產(chǎn)條件的束縛，極大地解放了物質(zhì)產(chǎn)品和有形服務的生產(chǎn)力。云計算的出現(xiàn)，也在逐步使人們擺脫使用計算資源和信息服務時的束縛，降低知識獲取的成本，也使知識的產(chǎn)生變得更容易、分享變得更方便，革命性地改變了信息產(chǎn)品與知識服務的生產(chǎn)力?；蛟S云計算與蒸汽機、內(nèi)燃機及電力有同等重要的意義，會帶來一場信息社會的工業(yè)革命?！　‖F(xiàn)在來看，云計算仍然在發(fā)展的過程中，未來會發(fā)展到什么高度還未知。我們還在不斷摸索和深化對云計算的理解，畢竟對于新事物都有一個聽聞而知見的過程。對于現(xiàn)階段的云計算而言，最需要的支持，最怕的是輕視，或如管窺蠡測地輕下結論。但無論如何，云計算已經(jīng)對社會生產(chǎn)和生活的一些領域產(chǎn)生了積極的影響，相信隨著技術的發(fā)展和服務的創(chuàng)新，云計算的時代將會很快到來，并最終影響到我們每一個人。

內(nèi)容概要

　　在互聯(lián)網(wǎng)帶來的“大”問題壓力下，我們需要全新的思想，通過“積木化”的改變，來重新定義計算資源的使用方式、服務的提供方式，以及社會化大生產(chǎn)的協(xié)作過程。云計算帶來了這種思想的落實機制，這種機制使我們可以組織資源以服務，組織技術以實現(xiàn)，組織流程以應變。而且，云計算擴大了我們對服務的定義，并帶來了一個全新的計算資源管理思路，一種信息技術的系統(tǒng)工程理念和一次信息社會的工業(yè)化革命。本書以簡單平實的語言，將這些思考一一展現(xiàn)給讀者，并結合作者多年的實踐經(jīng)驗，對云計算涉及的概念、技術，以及將給我們的生活和社會帶來的影響等各方面進行了闡述，從一種全新的視角展現(xiàn)了云計算的魅力。

作者簡介

　　姚宏宇，美國威斯康辛大學麥迪遜分校博士，有多年在硅谷從事大規(guī)模企業(yè)軟件和互聯(lián)網(wǎng)技術的研究、開發(fā)和管理工作的經(jīng)歷，現(xiàn)為友友系統(tǒng)公司CEO，中國電子學會云計算專家委員會專家委員，并入選中組部千人計劃。
　　田溯寧，美國德州理工大學博士，中國著名企業(yè)家，北京“云基地”創(chuàng)始人，現(xiàn)為中國寬帶資本基金董事長，并擔任萬事達國際組織獨立董事，聯(lián)想集團獨立非執(zhí)行董事，哈佛商學院顧問委員會委員等職。

書籍目錄

序言一 Ⅲ
序言二　上兵伐謀 Ⅵ
自 序 Ⅷ
前 言　什么是云計算 Ⅺ
第一章 信息需求的新菜譜 
“不成功”的產(chǎn)品 
新經(jīng)濟的特點 
互聯(lián)網(wǎng)下的“大”壓力 
云計算的生態(tài)系統(tǒng) 
創(chuàng)新的新菜譜 
第二章 一切皆可為服務 
傳統(tǒng)軟件的“終結者” 
SaaS、PaaS和IaaS 
區(qū)別和聯(lián)系 
互聯(lián)網(wǎng)服務的新方向 
新服務的潛力 
第三章 云計算之辯 
完整的云計算定義 
與云計算有關的技術 
云計算并非萬能靈藥 
第四章 信息技術的系統(tǒng)工程 
集中力量辦大事 
彈性：螞蟻雄兵 
透明：沙地建樓 
積木化：積木重組 
第五章 信息系統(tǒng)架構的轉變 
豎井式的企業(yè)信息系統(tǒng) 
日趨完善的系統(tǒng)需求 
全新的信息系統(tǒng)架構 
新型企業(yè)信息系統(tǒng)模塊介紹 
典型業(yè)務應用示例 
第六章 商業(yè)變革的催化劑 
零售企業(yè)的流程再造 
云計算推動企業(yè)變革 
IT資源使用的新方式 
業(yè)務整合的新平臺 
向“服務”轉型的新思路 
創(chuàng)新增長的新動力 
第七章 信息社會的工業(yè)革命 
解放信息生產(chǎn)力 
云計算改變信息生活 
云計算推動社會變革 
第八章 云計算是?幕??
中國的私有云發(fā)展更快 
數(shù)據(jù)中心應“行業(yè)”集中 
中國企業(yè)的“云”機會 
中國“云”企業(yè)的機遇和挑戰(zhàn) 
尾　語 成長中的云計算 
引用資料

章節(jié)摘錄

版權頁：   插圖：   到網(wǎng)格計算時，無共享架構（Share—Nothing Architecture，SN）的好處開始顯現(xiàn)。作為分布式計算架構的一種，無共享架構這一術語最早于1986年出現(xiàn)在計算機科學家邁克爾·斯通布雷克（Michael Stonebraker）發(fā)表的論文中。斯通布雷克認為，在構建大處理量多處理器系統(tǒng)時，無共享的方法會更優(yōu)于另外兩種：共享內(nèi)存（Shared Memory）和共享磁盤（Shared Disk）。無共享架構的各節(jié)點相互獨立且資源可自我滿足，系統(tǒng)內(nèi)因此不存在資源爭奪——即不存在節(jié)點共享內(nèi)存或硬盤存儲的問題。這樣，無共享架構的可擴展性（Scalability）就可以得到保證。谷歌已經(jīng)證明，由于沒有任何明顯瓶頸來拖累系統(tǒng)性能，一個純粹的SN系統(tǒng)幾乎可以通過簡單添加廉價電腦這樣的節(jié)點來無限擴展。對于想要將更大地理范圍內(nèi)分布的異構計算機系統(tǒng)集合成一個大規(guī)模計算資源的網(wǎng)格來說，無共享架構的好處非常明顯。 在網(wǎng)格計算中，使用者通常需要先基于某個網(wǎng)格的框架來構建自己的網(wǎng)格系統(tǒng)，即使用開放源代碼工具或者供應商提供的專利工具和產(chǎn)品構建網(wǎng)格，并對其進行管理，執(zhí)行計算任務。如果一個新的應用程序想要使用網(wǎng)格系統(tǒng)，則在進行設計和部署時，就要考慮網(wǎng)格的基本結構和其所提供的服務，應用開發(fā)者必須知道如何把基礎設施的各個部分組合在一起，考慮編程語言、系統(tǒng)環(huán)境、數(shù)據(jù)管理、任務的分發(fā)和結果的打包、安全性和可用性的管理等諸多內(nèi)容。這意味著，網(wǎng)格計算更多的是面向“任務”的“專用”計算形式。 在云計算中，服務提供商通常會負責處理底層架構中的安全性、可用性和可靠性的所有問題，對使用者來說，用戶只需要使用云中的資源，不需要關注系統(tǒng)資源的管理和整合。這一切都將由云計算提供者進行處理，用戶看到的是一個邏輯上單一的整體。云計算體現(xiàn)了更多的“通用”性，用戶可以把更多精力放置于業(yè)務邏輯之上。 另外，在資源的所屬關系上，云計算和網(wǎng)格也存在著較大差異?？梢哉f在網(wǎng)格計算中是多個零散資源為個別任務提供運行環(huán)境，而在云計算中是單個整合資源為多個用戶提供服務。

編輯推薦

海報：

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    云計算 PDF格式下載

---