內存數據管理

前言

第二版前言本書第一版已經出版了一年有余。在這一年間，內存計算技術對企業(yè)級計算與應用市場產生了重大影響，使其真正成為一個技術拐點。由于這一發(fā)展，以及由此引發(fā)的新問題，有必要擴充本書至第二版。第二版中的新內容主要側重于數據密集型應用程序的開發(fā)和部署，數據密集型應用程序的設計需要盡可能利用內存數據庫系統(tǒng)的功能。在其他新增內容中，6.1.1 章節(jié)介紹了內存應用程序編程模型，涵蓋了開發(fā)內存應用程序的重點和指導原則。為減輕應用程序開發(fā)人員和數據庫管理人員的工作負荷，我們在6.1.5 章節(jié)探討了圖形化創(chuàng)建數據庫視圖。最后，對應用程序層上的新功能作了詳細說明，例如6.2.4 章節(jié)中數據分析和文本搜索的組合以及9.2 章節(jié)中兩個行業(yè)案例的展示。當然，如果沒有我們企業(yè)平臺的學生們以及集成概念主席的幫助，我們不可能在這么短的時間內完成本書第二版的編纂工作。因此，除了在第一版序言中對他們的付出和努力表示感謝之外，在這里我們還想再次感謝他們。2012 年 3 月 1 日，波茨坦 哈索（Hass·Plattner）亞力山大·蔡爾（Alexander Zeier）第一版前言我們寫這本書，是因為我們深信內存計算技術的運用將成為企業(yè)級應用的轉折點。在過去幾年里，內存單價下降，內存容量大幅增長。這就需要重新思考如何存儲海量數據?，F在我們可以將數據庫主要數據的副本存儲在內存中而不是機械磁盤中，這樣可以使性能得到幾個數量級的提升，并且使得全新的應用成為可能。這種數據存儲方式的改變正在并將繼續(xù)對企業(yè)級應用產生重大影響，進而最終影響企業(yè)的運營方式。企業(yè)決策者能夠以思想般的速度獲得實時信息，他將具備前所未有的洞察力。本書面向特定的讀者群。他們將了解數據管理方式的根本性轉變如何影響企業(yè)級應用。我們希望本書能對想充分利用內存計算來創(chuàng)建新業(yè)務流程的在校大學生、IT 專業(yè)人員、IT 經理和高級管理層有所啟發(fā)。本書分為三個部分：·第一部分概述我們的愿景，即內存計算技術如何改變企業(yè)級應用。這一部分適用于所有讀者。·第二部分更深入地闡述我們打算如何實現愿景。這一部分適用于那些希望深入了解內存數據管理的學生和開發(fā)人員。·第三部分闡述內存計算對企業(yè)級應用開發(fā)和功能所帶來的深遠意義。這一部分適用于技術人員和業(yè)務型讀者。一本書往往凝聚著許多人的心血，絕非僅靠作者完成。在此，我們要特別感謝德國波茨坦大學哈索·普拉特納學院的“企業(yè)平臺和集成概念”小組的全體成員。HANA 研究小組的成員包括：安佳·伯格（Anja B·g）、馬丁·格倫德（Martin Grund）、延森·克魯格（Jens Krüger）、史蒂芬·穆勒（Stephan Müller）、簡恩·夏弗納（Jan Schaffner）和克里斯汀·緹娜芬德（Christian Tinnefeld）。在過去的 5 年里，他們一直專注于內存計算應用領域的研究。他們的研究為本書的撰寫奠定了堅實的基礎。此外，瓦迪姆·波羅夫斯基（Vadym B·r·vskiy）、托馬斯·科沃科（Th·mas K·wark）、拉爾夫·屈內（Ralph Kühne）、馬丁·洛倫茲（Martin L·renz）、杰根·穆勒（Jürgen Müller）、奧克斯德·帕奇可（·leksandr Panchenk·）、馬斯恩·夏普拉娜（Matthieu Schapran·w）、克里斯汀·施瓦茲（Christian Schwarz）、馬提亞·艾弗拉克（Matthias Uflacker）和約翰尼斯·伍斯特（J·hannes Wust）也為本書的編寫做出了巨大貢獻。我們的助手安德里亞·蘭格（Andrea Lange）也一直在幫助進行協(xié)調工作。此外，在編寫本書的過程中，我們還得到了許多 SAP 同事的熱心幫助。如果沒有他們的支持，本書將無法順利面世。卡夫爾·涂森（Cafer T·sun）在 HPI 和 SAP 之間起著橋梁作用，他不僅負責協(xié)調我們與 SAP 的合作關系，而且還積極為本書提供部分章節(jié)內容。其團隊成員安德魯·麥考密克史密斯（Andrew McC·rmick-Smith）和克里斯汀·馬蒂斯（Christian Mathis）為本書提供了許多重要文字段落。借此書付梓之際，我們衷心感謝喬斯·亨德瑞克·布斯（J··s Hendrik B·ese）、伯恩哈德·菲舍爾（Bernhard Fischer）、依娜·福克斯（Enn· F·lkerts）、安德烈亞斯·赫歇爾（AndreasHerschel）、塞拉·卡佩斯（Sarah Kappes）、克里斯汀·穆克爾（Christian Münkel）、弗蘭克·倫克思（Frank Renkes）、弗雷德里克·全斯爾（Frederik Transier）所付出的辛勤勞動。我們衷心感謝保羅·霍夫曼（Paul H·fmann）為本書付出的心血，感謝他幫助管理我們與美國各大學共同合作的研究項目。此外，我們的研究成果也離不開其他 SAP 同事的熱心幫助。在此，我們特別感謝弗朗茲·法波（Franz F·rber）及其團隊所提供的反饋意見，以及他們在過去幾年里對我們的研究成果所做出的卓越貢獻。我們在整本書中提及的許多想法都源自弗蘭茲。此外，他還負責 SAP 內部實施事務。對此，我們要特別贊揚。最后，我們要感謝 SAP 首席技術官維舍爾·斯卡（Vishal Sikka）。他一直鼎力支持我們的研究工作，并親身參與其中。另外，我們還要衷心感謝 SAP 首席運營官格哈德·奧斯瓦德（Gerhard ·swald）和 SAP 聯合首席執(zhí)行官吉姆·哈格曼·施杰翰 (Jim Hagemann Snabe) 與比爾·孟鼎銘（Bill McDerm·tt）對我們項目的長期支持。請您訪問本書的官方網站。網站中列出了本書的更新內容、評論、有關內存數據管理的相關博客文章以及學生試題。2011年2月 1 日，波茨坦 哈索（Hass·Plattner）亞力山大·蔡爾（Alexander Zeier）

內容概要

SAP創(chuàng)始人哈索教授在《內存數據管理（第2版）》中提出了創(chuàng)新的概念：高性能的內存計算將改變企業(yè)的工作方式，并最終真正實現"實時"計算處理的許諾。內存計算技術將給以下三個相互關聯的戰(zhàn)略領域帶來重大變革：降低總體擁有成本、創(chuàng)新應用、作出更快更好的決策。

作者簡介

哈索教授，（Hasso Plattner），是SAP公司的創(chuàng)始人之一，并于2003年5月起擔任SAP監(jiān)事會主席。作為公司的監(jiān)事會主席和首席軟件顧問，他致力于制定SAP的中長期技術戰(zhàn)略和發(fā)展方向。與此同時，哈索也負責領導SAP監(jiān)事會技術委員會。1972年，哈索和四位同事離開位于德國曼海姆的IBM公司，并創(chuàng)建了SAP（System， Applications， Products in Data Processing - 系統(tǒng)、應用與數據處理產品）。如今，總部設在德國沃爾多夫的SAP 公司已成為整合企業(yè)及業(yè)務部門間流程的企業(yè)管理軟件供應商中的領導者。1988年SAP上市的時候，他被任命為SAP執(zhí)行董事會副主席。1997年至2003年5月期間，哈索一直擔任SAP執(zhí)行董事會主席兼首席執(zhí)行官。2003年5月他接替另一位SAP的創(chuàng)始人DietmarHopp被選舉為SAP監(jiān)事會主席。哈索在卡爾斯魯厄大學獲得通信工程碩士學位。1990年，薩爾布呂肯大學授予他名譽博士學位，并于1994年授予他名譽教授頭銜。1997年，作為SAP美國公司的董事長，SAP的聯席董事長和SAP R/3的總架構師，哈索在1997年被授予全球一體化信息技術領導獎，該獎是《計算機世界》史密森獎勵計劃的一部分。1998年，他入選德國名人堂。2002年哈索被波茨坦大學任命為名譽博士，并于2004年獲得名譽教授頭銜。哈索于1998年在德國波茨坦大學內建立了以其名字命名的IT系統(tǒng)工程學院，同時創(chuàng)下了德國為單一大學私人捐款的最高紀錄。在他持續(xù)不斷地財政支持下，該學院已經成為世界級的軟件專業(yè)人才教育中心。亞力山大·蔡爾（Alexander Zeier），畢業(yè)于維爾茨堡大學企業(yè)管理專業(yè)，并在開姆尼茨工業(yè)大學完成了信息技術專業(yè)的學習。在獲得埃朗根-紐倫堡大學供應鏈系統(tǒng)專業(yè)的博士學位之前，他做了多年的戰(zhàn)略 IT 顧問。他擁有 19 年 SAP/IT 系統(tǒng)方面的工作經驗，2002 年加入 SAP 后，他擔任產品經理，全面負責 SCM 軟件 - SAP 首個大型內存應用程序。自 2006 年開始，他在柏林/波茨坦的哈索·普拉特納學院擔任哈索的副教授，并致力于實時內存企業(yè)系統(tǒng)和 RFID 技術的研究。他著作的出版物超過 100 多本，其中包括五本有關 IT 和 SAP 的書籍。他不僅是麻省理工學院的客座教授，還擔任麻省理工學院論壇歐洲地區(qū)的執(zhí)行總監(jiān)。

書籍目錄

第一部分企業(yè)級應用的轉折點第 1 章 可取性、適用性、可行性——內存計算技術的影響1.1 實時信息--隨時隨地獲取任何信息1.1.1 思想速度般的響應1.1.2 實時分析和動態(tài)計算1.2 最新硬件趨勢的影響1.2.1 企業(yè)級應用的數據庫管理系統(tǒng)1.2.2 主存是新磁盤1.2.3 從最大化 CPU 速度到多核處理器1.2.4 增加的 CPU 和主存之間的帶寬1.3 通過內存數據管理降低成本1.3.1 總體擁有成本1.3.2 企業(yè)系統(tǒng)中的成本因素1.3.3 內存計算的性能促進成本降低1.4 結論第 2 章 企業(yè)級應用為何如此繁雜零亂2.1 當前的企業(yè)級應用2.2 企業(yè)級應用范例2.3 企業(yè)級應用架構2.4 企業(yè)級應用中的數據處理2.5 企業(yè)級應用中的數據訪問模式2.6 結論第 3 章 SanssouciDB--企業(yè)內存數據庫系統(tǒng)的未來藍圖3.1 重點關注多核和主存3.2 內存數據庫系統(tǒng)設計3.3 SanssouciDB中數據的組織與訪問3.4 結論第二部分 SanssouciDB：通過內存計算技術提供單一數據源第 4 章 SanssouciDB 的技術基礎4.1 了解內存層次結構4.1.1 主存簡介4.1.2 主存層次結構的組織結構4.1.3 內存層次結構的趨勢4.1.4 從程序員的角度看待內存4.2 使用多核和跨服務器進行并行數據處理4.2.1 通過添加資源增加容量4.2.2 并行系統(tǒng)架構4.2.3 企業(yè)級應用數據庫的并行化4.2.4 SanssouciDB 中的并行數據處理4.3 通過壓縮提高速度和減少內存消耗4.3.1 輕量級壓縮4.3.2 重量級壓縮4.3.3 數據相關的優(yōu)化4.3.4 壓縮感知的查詢執(zhí)行4.35 真實數據的壓縮分析44 列優(yōu)先、行優(yōu)先、混合方式--優(yōu)化數據布局4.4.1 垂直分區(qū)4.4.2 尋找最佳布局4.4.3 混合型數據庫面臨的挑戰(zhàn)4.4.4 應用情景4.5 虛擬化的影響4.5.1 分析型工作負載的虛擬化4.5.2 數據模型和基準測試環(huán)境4.5.3 虛擬執(zhí)行與本地執(zhí)行4.5.4 使用并行虛擬機減少響應時間4.6 技術概念匯總4.7. 結論第 5 章 SanssouciDB 中數據的組織與訪問5.1 用于訪問內存數據的 SQL5.1.1 SQL 的角色5.1.2 查詢的生命周期5.1.3 存儲過程5.1.4 數據組織和索引5.1.5 任何屬性均可作為索引5.2 憑借數據老化提高性能5.2.1 主動和被動數據5.2.2 老化過程在實現上的考慮5.2.3 銷售線索水平分區(qū)的用例.5.3 高效檢索業(yè)務對象531 從數據庫中檢索業(yè)務數據532 對象數據指南5.4高效執(zhí)行業(yè)務函數5.4.1區(qū)分業(yè)務函數與應用程序函數5.4.2比較業(yè)務函數5.5 處理讀優(yōu)化數據庫中的數據更改5.5.1 對 SanssouciDB 的影響5.5.2 合并過程5.5.3 通過單列合并提高性能5.6 只添加、不刪除，保持歷史記錄的完整性5.6.1 “只插入”實施策略5.6.2 通過“只插入”操作最小化鎖定5.6.3 對企業(yè)級應用的影響5.6.4 “只插入”方法的可行性5.7支持事務數據分析5.7.1 動態(tài)聚集5.7.2 無星型模式的分析查詢5.8不停機擴展數據布局5.8.1 行存儲中的重組5.8.2 列存儲中的動態(tài)附加5.9利用高級日志技術提高業(yè)務恢復能力5.9.1 列存儲中的恢復5.9.2 行優(yōu)先數據庫的差分日志記錄5.9.3 提供高可用性5.10對混合負載進行優(yōu)化調度的重要性5.10.1 調度簡介5.10.2 混合負載的特征5.10.3 運行時間較短與較長任務的調度5.11結論第三部分 內存計算技術所帶來的改變第 6 章 應用程序開發(fā)6.1 優(yōu)化 SanssouciDB 的應用程序開發(fā)6.11 內存應用程序的編程模式6.12 應用程序架構6.13 將業(yè)務邏輯移到數據庫中6.14最佳實踐6.15 視圖的圖形創(chuàng)建6.2 創(chuàng)新的企業(yè)級應用6.21 全新分析應用程序6.22 運營處理幫助簡化日常業(yè)務6.23 創(chuàng)新用戶界面讓信息觸手可及6.24 合并分析與文本搜索6.25 基本搜索類型6.26 企業(yè)搜索功能6.3 結論第 7. 章 即將呈現的真正的商務智能系統(tǒng)7.1 運營數據分析7.1.1 過去的商務智能7.1.2 如今的商務智能7.1.3 將分析從日常運營中分離出來的弊端7.1.4 為分析系統(tǒng)設計的專用數據庫7.1.5 分析和查詢語言7.1.6 促進商務智能變化的驅動因素7.1.7 未來的商務智能7.2 改變.之后如何評估數據庫7.2 企業(yè)計算基準測試7.2.2 為混合負載量身定制的新基準測試要求7.2.3 日常運營和分析的新基準測試7.3 結論第 8 章 在云計算中擴展 SanssouciDB8.1 什么是云計算8.2 云應用程序的類型8.3 從提供商的角度看云計算8.3.1 多租戶8.3.2 低端硬件與高端硬件8.3.3 復制8.3.4 憑借內存計算技術提高能源效率8.4 結論第 9 章 內存計算技術革命已拉開序幕9.1 無風險過渡到內存數據管理9.1.1 內存系統(tǒng)和傳統(tǒng)系統(tǒng)并肩工作9.1.2 系統(tǒng)整合和可擴展性9.2 客戶驗證點9.2.1 柏林夏洛特醫(yī)科大學9.2.2 Hilti9.3 結論關于作者參考文獻術語表索引

章節(jié)摘錄

　　4.1.3內存層次結構的趨勢 　　在過去幾年里，存儲介質與計算系統(tǒng)其余部分之間在延遲方面的性能缺口繼續(xù)迅速擴大。為消除缺1：3并保持性能的高速增長，人們進行了大量的研究工作，開發(fā)新的存儲技術，以突破傳統(tǒng)磁盤存儲的限制。一組稱為存儲級內存的頗有潛力的新存儲技術正在開發(fā)過程中。這種新型存儲介質的一般特性包括非易失性、極低延遲、不含旋轉機械部件的固態(tài)實施、價格低廉以及高能效。 　　閃存是試圖突破傳統(tǒng)硬盤限制的存儲級內存技術的一個早期版本。在閃存中，數據存儲在由浮柵晶體管組成的單元中，這些晶體管即使在切斷電源之后仍能保存電流。由于無需補充電流，因此與易失性的DRAM相比可以降低能耗。此外，閃存還可以提供大大低于硬盤的快速隨機存取時間[87]。不過，閃存也有一些不足之處。比如，閃存單元無法直接更新，這意味著必須要先清除，然后才能在單元中存儲新值。另外，向單元中注入電荷的時間（寫入時間）要長于讀取當前單元狀態(tài)的時間。閃存的寫入性能取決于存取模式，并且與順序寫入相比，隨機寫入的性能顯著降低。要利用這種存儲技術的潛力，在設計閃存算法時必須要考慮這種不對稱的讀取，寫入性能[104]。與磁盤存儲相比，閃存的主要缺點是其有限的物理耐用性。與主存（約1015次寫入）相比，每次寫入存取都會輕微損害存儲單元，大大縮短閃存的生命周期（約104～105次寫入）。為提升閃存有限的耐用性，人們采用一種稱為耗損均衡的技術，嘗試將寫入訪問均勻分布在現有物理地址空間中，以避免出現寫入熱點。 　　在傳統(tǒng)數據庫管理系統(tǒng)環(huán)境中，經檢驗，閃存可以有兩種不同使用方案。首先，閃存技術可像內存一樣用做附加緩存層次結構級別。該方案的問題在于閃存有限的耐用性與緩存頻繁的讀寫存取之間存在矛盾。人們經常建議將閃存用做持久性存儲介質。在這種情況下，為了獲得閃存的全部性能潛力，必須要調整DBMS的數據結構和存取方式，特別是要考慮讀取和寫入之間的不對稱性（參考文獻第[104]條描述了一種利用閃存存儲特性的記錄方法）。 　　在內存數據庫管理系統(tǒng)環(huán)境中，閃存及其他存儲級內存計算技術會扮演雙重角色。首先，將閃存卷用做主要的持久存儲設備，而將磁盤用做備份和存檔設備。內存數據庫的只插入模式與閃存的優(yōu)勢相匹配。在只插入式數據庫中，隨機寫入的次數可能會減少，甚至完全沒有。另外，由于不會發(fā)生更新和刪除數據，耐用性有限的缺陷也會得到彌補。其次，閃存存儲的低讀取延遲可在系統(tǒng)停機，甚至出現故障時確保系統(tǒng)快速恢復。閃存的另一種使用方案是用做內存映射存儲，以保留不常使用的數據或主要用于讀取的大型二進制對象。DBMS可以基于簡單的試探方法或用戶手工移動的方法，將不常使用的列轉移到一個特殊內存區(qū)域——閃存上。這樣一來，其可以利用低能耗的閃存來減少主存的數據量，從而在保持性能的同時降低系統(tǒng)的整體能耗?！　　?/pre>




編輯推薦
　　《內存數據管理（第2版）》通過對技術發(fā)展趨勢的分析，舉出了有關主內存將在數據庫系統(tǒng)中占主導地位的可信例證。業(yè)界第一本有關內存數據庫系統(tǒng)的權威書籍，可為學生和數據庫設計人員等相關人士提供完整的參考信息。《內存數據管理（第2版）》不僅描述了這項以市場為導向，并極有可能改變整個企業(yè)軟件市場的德國創(chuàng)新技術，而且還展示了一個工作原型。





圖書封面



圖書標簽Tags
無




評論、評分、閱讀與下載



還沒讀過(96)
勉強可看(702)
一般般(119)
內容豐富(4966)
強力推薦(407)


 


    內存數據管理 PDF格式下載