Web容量規(guī)劃的藝術(shù)

前言

　　2005年7月7日凌晨3點(diǎn)左右，我和我的同事卡爾·亨德森正在處理將網(wǎng)站Flickr.com的所有訪問流量遷移到它的新家（位于德克薩斯州的一個(gè)Yahoo！數(shù)據(jù)中心）的收尾工作。原來在溫哥華的那些基礎(chǔ)設(shè)施的超負(fù)荷現(xiàn)象越來越嚴(yán)重，而且受到電力和空間的嚴(yán)重限制。因?yàn)檠呕倓偸召徚薋lickr，所以是時(shí)候提高它的在線容量了。當(dāng)我們將DNs記錄指向嶄新的服務(wù)器后，大約過了一個(gè)小時(shí)，卡爾不經(jīng)意間看到了一則新聞：倫敦地鐵剛剛遭遇了炸彈襲擊。倫敦市民用具有拍照功能的手機(jī)和其他設(shè)備記錄下了發(fā)生的一切。在接下來的24小時(shí)里，F(xiàn)1ickr的訪問流量比以往任何時(shí)候都大，因?yàn)閬碜詾?zāi)難現(xiàn)場的照片被不斷地上傳到網(wǎng)站上面。新聞也開始鏈接到這些照片，新服務(wù)器的訪問流量因此到達(dá)了峰值。這不只是全民從事新聞工作的一個(gè)極佳范例，也是網(wǎng)站容量規(guī)劃的一堂實(shí)物教學(xué)課。不幸的是，它來自于一場災(zāi)難。網(wǎng)絡(luò)訪問流量其有偶然性和不可預(yù)測性。如果我們沒有將Flickr及時(shí)遷移到新的數(shù)據(jù)中心，它那天也許會(huì)宕掉。容量規(guī)劃古已有之，從經(jīng)濟(jì)學(xué)到工程學(xué)等領(lǐng)域都有所應(yīng)用。通俗地講，容量規(guī)劃就是資源管理。當(dāng)資源有限且具有一定成本時(shí)，你就需要進(jìn)行容量規(guī)劃。當(dāng)一家土木工程公司設(shè)計(jì)一個(gè)新的高速公路系統(tǒng)時(shí)，它需要對車輛承載容量進(jìn)行規(guī)劃，正如一個(gè)為大城市提供電力的能源公司需要進(jìn)行容量規(guī)劃一樣。在某些方面，他們關(guān)注的重點(diǎn)和網(wǎng)站運(yùn)營有很多共同點(diǎn)，許多基本的概念和重點(diǎn)都可以應(yīng)用于這三門學(xué)科。雖然系統(tǒng)管理在20世紀(jì)60年代就已經(jīng)存在，但是專注于為Web站點(diǎn)提供服務(wù)的分支還是新出現(xiàn)的。網(wǎng)站運(yùn)營的很大一部分工作就是站點(diǎn)容量的規(guī)劃和管理。這些只是過程而不是目標(biāo)，并且它們由不同的部分組成。盡管每個(gè)組織采取的方式各不相同，但是基本原理還是一樣的。

內(nèi)容概要

　　　　網(wǎng)站的成功是以使用和增長來衡量的，而且網(wǎng)站類公司的成敗(生死)是依賴于他們是否有能力來衡量決定他們的基礎(chǔ)結(jié)構(gòu)，從而適應(yīng)不斷增長的需求。作者通過自身實(shí)踐給你提供所需要的相關(guān)知識(shí)和工具，來幫助你預(yù)知一些有威脅性的瓶頸問題和突然的網(wǎng)絡(luò)增長，從而測量、部署并提前設(shè)計(jì)好網(wǎng)站應(yīng)用的基本架構(gòu)。     本書由John Allspaw(Filickr的工程運(yùn)營經(jīng)理)撰寫，結(jié)合了他個(gè)人在Flickr成長過程中的許多經(jīng)歷和很多其他產(chǎn)業(yè)中同行的洞察力。在衡量增長、預(yù)測趨勢、成本效益等方面，他們的經(jīng)驗(yàn)都會(huì)給你一些可靠并有效的指導(dǎo)。

作者簡介

　　John AllspaW目前就職于Flickr.com并擔(dān)任工程經(jīng)理一職，該網(wǎng)站以共享用戶上傳的照片聞名。自該網(wǎng)站1999年成立以來，使他聚集了豐富的經(jīng)驗(yàn)。這些經(jīng)驗(yàn)包括在線新聞雜志（比如：Salon.com、Infoworld.com、Macworld.com）以及一些當(dāng)前急速增長的社會(huì)站點(diǎn)（比如Friendstet和Flickr）?！　ohn在Friendster公司時(shí)，該網(wǎng)站曾呈五倍增長。他負(fù)責(zé)將Friend-ster站點(diǎn)從只有幾十臺(tái)服務(wù)器的數(shù)據(jù)中心過度到多于400臺(tái)服務(wù)器的兩個(gè)數(shù)據(jù)中心，以支持重新設(shè)計(jì)的后端基礎(chǔ)設(shè)施。當(dāng)他加盟Flickr公司時(shí)，在溫哥華只有一個(gè)10多臺(tái)服務(wù)器的微小數(shù)據(jù)中心，現(xiàn)在在美國已經(jīng)設(shè)立了多個(gè)數(shù)據(jù)中心。在他從事網(wǎng)站職業(yè)之前，John曾作為機(jī)械工程師在建模和仿真領(lǐng)域?yàn)閲夜方煌ò踩值钠嚺鲎材M實(shí)驗(yàn)做出貢獻(xiàn)。

書籍目錄

前言第1章  容量規(guī)劃的目標(biāo)、問題和過程　快捷但不好的數(shù)學(xué)　預(yù)測你的系統(tǒng)何時(shí)會(huì)失敗　用系統(tǒng)統(tǒng)計(jì)表呈現(xiàn)問題　買東西：采購是一個(gè)過程　性能與容量：兩種不同的概念　社交網(wǎng)站和開放式API的影響第2章  設(shè)定容量目標(biāo)　不同種類的需求和測量方法　架構(gòu)決策第3章  測量：容量的單位　容量跟蹤工具的方方面面　應(yīng)用程序監(jiān)測　API的使用率及其對容量的影響　示例和現(xiàn)實(shí)　小結(jié)第4章  趨勢預(yù)測　曲線擬合　采購　增加容量后的影響　長期趨勢　迭代和校準(zhǔn)　小結(jié)第5章  部署　自動(dòng)化部署基本原理　自動(dòng)化安裝工具　自動(dòng)化部署　小結(jié)附錄A 虛擬化和云計(jì)算附錄B 對瞬時(shí)增長的處理附錄C 容量工具

章節(jié)摘錄

　　用戶期望顯然，容量規(guī)劃的終極目標(biāo)是對你的用戶提供平穩(wěn)、快速的用戶體驗(yàn)。除了容量之外，還有幾個(gè)影響用戶體驗(yàn)的因素。你的站點(diǎn)有可能已經(jīng)提供了大量的容量，卻仍然很慢。如何設(shè)計(jì)快速的網(wǎng)頁已經(jīng)超出了《Web容量規(guī)劃的藝術(shù)》的范疇，但你可以從（《高性能網(wǎng)站》?。℉ighperformance Web Sites（OReilly），作者：Steve Souders）這本好書中找到大量有用的信息。盡管容量只是使得終端用戶體驗(yàn)加快的一個(gè)部分，這個(gè)體驗(yàn)還是為了進(jìn)行預(yù)測我們需要測量和跟蹤的真實(shí)世界度量指標(biāo)之一。例如，當(dāng)提供靜態(tài)網(wǎng)頁服務(wù)時(shí)，你也許在任何系統(tǒng)層度量指標(biāo)（CPU、磁盤、內(nèi)存）到達(dá)閾值之前，到達(dá)一個(gè)難以容忍的的高流量的延時(shí)。在這種情況下，可以在網(wǎng)站頁面結(jié)構(gòu)方面而不是服務(wù)器發(fā)送內(nèi)容的容量方面做更多的工作。但是，由于容量改變的成本較高，所以需要恰當(dāng)?shù)恼{(diào)研。感覺到網(wǎng)頁很慢也許只是因?yàn)轫撁姹旧硖薮?，而不是由于缺乏容量（這是souders書中的其中一個(gè)基本原則）。當(dāng)任何用戶感覺到慢時(shí)，好的方法是確認(rèn)是否每個(gè)用例都被分析了。這個(gè)問題可以有2種解決方案：1）增加容量；2）修改網(wǎng)頁的大小。第一種方案通常需要更多的成本。在Flickr，我們每秒鐘需要提供上萬的照片服務(wù)。每個(gè)照片服務(wù)器在到達(dá)它的上限之前可以提供確定速率的照片。我們沒有根據(jù)磁盤I／0、CPU、內(nèi)存來定義上限，而是根據(jù)特定的響應(yīng)時(shí)間在我們能提供多少數(shù)量的照片服務(wù)。架構(gòu)決策　 你的架構(gòu)是關(guān)于你所有的后端組件（包括硬件和軟件）是怎樣結(jié)合的基本的設(shè)計(jì)。架構(gòu)的設(shè)計(jì)對于規(guī)劃和管理容量起到至關(guān)重要的作用。架構(gòu)設(shè)計(jì)是個(gè)復(fù)雜的任務(wù)，但有一些很不錯(cuò)的書可以幫助你Building Scalable Web Sites（0’Reilly）（《構(gòu)建可擴(kuò)展網(wǎng)站》），和Scalable Internet Architectures（Peatson）（《可擴(kuò)展的網(wǎng)絡(luò)架構(gòu)》）。你的架構(gòu)幾乎會(huì)影響到性能、可靠性、管理等各個(gè)方面。建立一個(gè)好的架構(gòu)可以為容量規(guī)劃減輕很多工作量。提供測量點(diǎn)不管是為了測量的目的，還是對變化的環(huán)境快速響應(yīng)，你都希望你的架構(gòu)設(shè)計(jì)完美，以便你能將它分割成不同的部分來執(zhí)行離散的任務(wù)。在一個(gè)理想的情況下，后端的每個(gè)組件都有一個(gè)單獨(dú)的工作要做，但如果需要，它也可以很好地執(zhí)行多個(gè)工作。同時(shí)，它對每個(gè)工作的影響也可以很容易的被測量。

媒體關(guān)注與評(píng)論

　　本書是最佳的入門書籍，幫助網(wǎng)站很好地運(yùn)行。不論你是在學(xué)習(xí)組織中的采購過程，還是在學(xué)習(xí)成功規(guī)劃的一些特別的方法，對于任何一個(gè)想要了解如何建立下一個(gè)Flickrl人，這都是一本必讀的書。　　——Chad Dickerson，Etsy CTO，Salon.comInfoWorld.com　前任CTO，Yahoo!Developer Network和Brickhouse領(lǐng)導(dǎo)者

編輯推薦

　　使用有效的工具測量和部量。對存儲(chǔ)、數(shù)據(jù)庫、應(yīng)用服務(wù)器進(jìn)行分析和預(yù)測容量。設(shè)計(jì)架構(gòu)便于增加和測量容量。處理突發(fā)流量的峰值。預(yù)測指數(shù)和爆炸性增長。把虛擬化和云服務(wù)（例如EC2）引入容量策略?！　≡凇禬eb容量規(guī)劃的藝術(shù)》中，作者吸引了多年來的一些有價(jià)值的經(jīng)驗(yàn)，從他在Flickr的早期管理成本和性能的權(quán)衡開始，這些對于任何成長的公司都極具參考價(jià)值?！禬eb容量規(guī)劃的藝術(shù)》所提供的一些建議將會(huì)幫助你為突發(fā)的增長做準(zhǔn)備，并幫你避免很多的麻煩。

圖書封面

圖書標(biāo)簽Tags

無

評(píng)論、評(píng)分、閱讀與下載

---

    Web容量規(guī)劃的藝術(shù) PDF格式下載

---