數(shù)據(jù)倉庫應用指南

前言

前言本書對數(shù)據(jù)倉庫世界中很多主題進行了探討。本書旨在從業(yè)務和技術角度說明數(shù)據(jù)倉庫系統(tǒng)的構建，側重于簡單樸實地描述如何構建切實的解決方案。這些見解來源于我30多年在20多個國家中50多家企業(yè)的親身經歷，在這些經歷中，我曾作為獨立顧問、員工以及IBM產業(yè)模式和資產實驗室的合伙人，見證了很多數(shù)據(jù)倉庫的實施過程。本書介紹了構建數(shù)據(jù)倉庫的組件和不同選擇，以及選擇某種方式的利弊。每家企業(yè)的數(shù)據(jù)倉庫構建都是具有其特色的，但可以借鑒全球范圍內很多企業(yè)的各種數(shù)據(jù)倉庫和商務智能環(huán)境中獲取的知識。本書首先從高層角度介紹了數(shù)據(jù)倉庫主題，以確保對術語和上下文理解一致，然后詳細說明了各個主題。這些主題都和數(shù)據(jù)倉庫、商務智能和性能管理相關。對于數(shù)據(jù)倉庫的構建不存在規(guī)則，但是有很多指南。本書的主要根本點是根據(jù)具體的和對業(yè)務需求的理解，構建適應特定企業(yè)需求的解決方案，同時為今后的工作創(chuàng)建一個開放、靈活的架構基礎。很多企業(yè)在初始包含商務智能報表的集中式數(shù)據(jù)倉庫的構建上花費了大量的預算，結果卻發(fā)現(xiàn)其創(chuàng)建的解決方案過于具體，只適合一兩個用途，而無法滿足后期的需求。當然，我們無法對未來進行預測，但是可以在一定程度上預期今后的數(shù)據(jù)需求和使用方式，確保設計和構建環(huán)境靈活、開放，對于變化可擴展而不需要每次重新設計和構建。很多企業(yè)的領導人意識到企業(yè)數(shù)據(jù)是企業(yè)的基礎資產，必須對它進行組織、結構化和維護，以保證其業(yè)務信息有較好的質量和管理，從而在整個企業(yè)范圍內共享。如果沒有信息系統(tǒng)，企業(yè)就無法運作，而如果沒有商業(yè)目的，信息系統(tǒng)就不復存在。它們相互依存，應該充分意識到信息架構和使用方式，以使得企業(yè)變得更加智慧。本書結構第一部分：準備第一部分介紹商務智能和數(shù)據(jù)倉庫的基礎概念，旨在介紹基礎知識，為管理工作奠定基礎。第1章：數(shù)據(jù)倉庫和商務智能概述該章概要介紹了商務智能和數(shù)據(jù)倉庫，最后提出了和數(shù)據(jù)倉庫實現(xiàn)相關的高層次問題。第2章：企業(yè)中的數(shù)據(jù)該章探討了數(shù)據(jù)如何作為企業(yè)資產，并提出關于如何組織數(shù)據(jù)的見解。第3章：為什么創(chuàng)建數(shù)據(jù)倉庫該章探討了支持和反對構建數(shù)據(jù)倉庫的各種理由。“支持”的理由在于已經有一些構建數(shù)據(jù)倉庫的經典場景，而“反對”的理由在于企業(yè)的文化和局限性能否推動項目向前發(fā)展。第4章：數(shù)據(jù)倉庫和商務智能戰(zhàn)略該章給出了構建數(shù)據(jù)倉庫和商務智能行動的一些規(guī)劃，探討從何處以及如何啟動項目，這取決于這項工作是面向商業(yè)報表解決方案，還是努力將數(shù)據(jù)進行組織和結構化。第5章：項目資源：角色和洞察力該章討論了數(shù)據(jù)倉庫項目的關鍵角色，以及最佳實踐的團隊結構。第6章：項目總結概論該章簡要介紹了項目章程、項目范疇和工作說明書的內容。第二部分：組件第二部分介紹了數(shù)據(jù)倉庫系統(tǒng)的基礎組件，深入分析了數(shù)據(jù)倉庫和商務智能系統(tǒng)的技術方面。這部分具體探討了數(shù)據(jù)倉庫系統(tǒng)中用以維護企業(yè)資產和提供商務智能支持工作的各個組件。第7章：商務智能：數(shù)據(jù)集市及其使用方式該章從數(shù)據(jù)模型到性能問題，詳細探討了數(shù)據(jù)集市及其使用方式。第8章：企業(yè)數(shù)據(jù)模型該章討論了企業(yè)數(shù)據(jù)模型、如何構建企業(yè)數(shù)據(jù)模型的一些實例以及一般問題。第9章：數(shù)據(jù)倉庫架構：組件該章從建模和數(shù)據(jù)流角度探討了數(shù)據(jù)倉庫架構的不同類型。第10章：ETL和數(shù)據(jù)質量該章探討了數(shù)據(jù)倉庫中的數(shù)據(jù)采集層和分發(fā)層的一些普遍特征，并提出關于數(shù)據(jù)質量問題的一些見解。第11章：項目規(guī)劃和方法論該章討論了數(shù)據(jù)倉庫和商務智能項目規(guī)劃的一些方法。第三部分：構建第三部分從實踐角度說明了如何構建數(shù)據(jù)倉庫系統(tǒng)。這部分旨在介紹經典的構建場景和工作，以及數(shù)據(jù)監(jiān)理和對后期工作的審查。第12章：工作場景該章介紹了如何使用自上而下、自下而上和混合式方法來構建數(shù)據(jù)倉庫和商務智能系統(tǒng)，并討論了一些其他主題，包括簡要介紹企業(yè)信息架構。第13章：數(shù)據(jù)監(jiān)理該章探討了企業(yè)數(shù)據(jù)監(jiān)理，包括企業(yè)結構、數(shù)據(jù)質量、所有權和變更管理。第14章：項目后評審該章探討了數(shù)據(jù)倉庫和商務智能項目在開發(fā)完成后的一些方面。本書力爭做到成為構建數(shù)據(jù)倉庫系統(tǒng)的完整指南，目標是理解當今數(shù)據(jù)倉庫系統(tǒng)中的很多問題，并從多個角度提出自己的觀點。作者希望本書能夠幫助你構建好自己的數(shù)據(jù)倉庫。希望你喜歡本書！

內容概要

　　本書全面系統(tǒng)地講解如何規(guī)劃、設計、構建和管理數(shù)據(jù)倉庫／商務智能解決方案。本書介紹在數(shù)據(jù)倉庫開發(fā)項目中如何激勵用戶，在整個企業(yè)范圍內更好地驅動決策制定，從專業(yè)的開發(fā)人員獲取詳細的指導和最佳實踐經驗。本書內容涉及如何選擇恰當?shù)慕M件、構建企業(yè)數(shù)據(jù)模型、配置數(shù)據(jù)集市和數(shù)據(jù)倉庫、構建數(shù)據(jù)流并降低風險，還涉及項目開發(fā)中變更管理、數(shù)據(jù)監(jiān)理和安全方面的問題。

作者簡介

作者：(美國）Robert Laberge Bob 譯者：祝洪凱 李妹芳 Robert Laberge是多家互聯(lián)網企業(yè)的創(chuàng)始人、IBM產業(yè)模式和資產實驗室的首席顧問，他的研究重點是數(shù)據(jù)倉庫和商務智能解決方案。

書籍目錄

譯者序
前言
作者簡介
第一部分　準備
　第1章　數(shù)據(jù)倉庫和商務智能概述
　　1.1商務智能概述
　　1.1.1定義
　　1.1.2商務智能的價值
　　1.1.3剖析商務智能
　　1.1.4商務智能的成功要素
　　1.1.5商務智能的目標
　　1.1.6BI用戶展現(xiàn)層
　　1.1.7BI工具和架構
　　1.1.8全球化帶來的發(fā)展
　　1.2數(shù)據(jù)倉庫概述
　　1.2.1定義
　　1.2.2數(shù)據(jù)倉庫系統(tǒng)
　　1.2.3數(shù)據(jù)倉庫架構
　　1.2.4數(shù)據(jù)流術語
　　1.2.5數(shù)據(jù)倉庫目標
　　1.2.6數(shù)據(jù)結構化策略
　　1.2.7數(shù)據(jù)倉庫業(yè)務
　　1.3常見問題
　　1.3.1當前系統(tǒng)是否足夠好
　　1.3.2數(shù)據(jù)倉庫的價值
　　1.3.3成本多高
　　1.3.4時間多長
　　1.3.5成功的因素
　第2章　企業(yè)中的數(shù)據(jù)
　　2.1企業(yè)資產
　　2.1.1具有上下文的數(shù)據(jù)
　　2.1.2數(shù)據(jù)質量
　　2.1.3數(shù)據(jù)字典
　　2.1.4數(shù)據(jù)組件
　　2.2組織數(shù)據(jù)
　　2.2.1對數(shù)據(jù)結構化
　　2.2.2數(shù)據(jù)模型
　　2.2.3數(shù)據(jù)架構
　　2.3競爭優(yōu)勢
　　2.3.1構建還是購買數(shù)據(jù)模型
　　2.3.2指導業(yè)務
　第3章　為什么創(chuàng)建數(shù)據(jù)倉庫
　　3.1平臺遷移
　　3.1.1業(yè)務連續(xù)性
　　3.1.2逆向工程
　　3.1.3數(shù)據(jù)質量
　　3.1.4并行環(huán)境
　　3.1.5附加值
　　3.2數(shù)據(jù)倉庫集中化
　　3.2.1企業(yè)間并購
　　3.2.2企業(yè)內合并
　　3.2.3集中式設計和局部使用
　　3.3數(shù)據(jù)集市整合
　　3.4新方案
　　3.5新方案：動態(tài)報表
　　3.6“Just Build It”模式
　　3.7數(shù)據(jù)Floundation
　　3.8不構建數(shù)據(jù)倉庫的原因
　　3.8.1數(shù)據(jù)質量差
　　3.8.2缺乏商業(yè)目標
　　3.8.3缺乏管理層支持
　　3.8.4目標不明確
　　3.8.5當前系統(tǒng)足夠用
　　3.8.6缺乏人才資源
　　3.8.7環(huán)境不穩(wěn)定
　　3.8.8成本太高
　　3.8.9管理不善
　第4章　數(shù)據(jù)倉庫和商務智能戰(zhàn)略
　　4.1商務智能戰(zhàn)略
　　4.1.1商業(yè)目標
　　4.1.2商業(yè)用途
　　4.1.3架構概覽
　　4.2數(shù)據(jù)倉庫戰(zhàn)略
　　4.2.1用途
　　4.2.2數(shù)據(jù)倉庫架構
　　4.3重點和成功
　　4.3.1整個企業(yè)還是業(yè)務線
　　4.3.2目標明確
　　4.3.3成功：衡量的標準是什么
　　4.4從何處著手
　　4.4.1關于商務智能
　　4.4.2關于數(shù)據(jù)倉庫
　　4.5如何開始
　　4.5.1關于商務智能
　　4.5.2關于數(shù)據(jù)倉庫
　　4.6項目階段化
　　4.7需要多長時間（重新回顧）
　　4.8興趣點
　　4.8.1常見的失敗原因
　　4.8.2基本原則
　第5章　項目資源：角色和洞察力
　　5.1關鍵點
　　5.1.1項目團隊
　　5.1.2資深專業(yè)知識
　　5.1.3領導力
　　5.1.4項目發(fā)起人
　　5.1.5數(shù)據(jù)倉庫管理層
　　5.2團隊結構
　　5.2.1管理層發(fā)起人
　　5.2.2數(shù)據(jù)管家
　　5.2.3基本資源
　　5.3定期審查：進度審核
　　5.4能力中心
　第6章　項目總結概論
　　6.1項目章　程
　　6.2項目范疇
　　6.3工作說明書
第二部分　組件
　第7章　商務智能：數(shù)據(jù)集市及其使用方式
　　7.1為什么要對數(shù)據(jù)建模
　　7.1.1數(shù)據(jù)模型的類型
　　7.1.2數(shù)據(jù)設計
　　7.2事實表
　　7.2.1事實的類型
　　7.2.2事實表的類型
　　7.2.3衡量指標來源
　　7.2.4事實表關鍵字
　　7.2.5事實表粒度
　　7.2.6事實表密度
　　7.2.7無事實的事實表
　　7.3維度表
　　7.3.1維度還是指標
　　7.3.2歷史表和日期表
　　7.3.3維度表關鍵字
　　7.3.4維度表的粒度
　　7.3.5維度屬性的來源和價值
　　7.3.6維度類型
　　7.3.7級別和輔助表
　　7.3.8個人信息表
　　7.3.9維度數(shù)
　　7.4規(guī)模
　第8章　企業(yè)數(shù)據(jù)模型
　　8.1數(shù)據(jù)模型概覽
　　8.2構建企業(yè)數(shù)據(jù)模型的目標
　　8.3企業(yè)數(shù)據(jù)模型的好處
　　8.4數(shù)據(jù)模型：從何處開始
　　8.5完全自上而下的數(shù)據(jù)模型
　　8.5.1主題領域模型
　　8.5.2概念模型
　　8.5.3實體關系模型
　　8.6總線結構
　　8.7購買的數(shù)據(jù)模型
　　8.8模型分析
　　8.8.1數(shù)據(jù)組件
　　8.8.2范化數(shù)據(jù)模型
　　8.8.3超類和子類模型
　　8.8.4在范化的數(shù)據(jù)模型中收集歷史信息
　　8.8.5代理鍵
　　8.8.6邏輯和物理數(shù)據(jù)模型
　　8.8.7是否具備參照完整性
　　8.9其他數(shù)據(jù)模型
　　8.9.1輸入數(shù)據(jù)模型
　　8.9.2臨時存儲數(shù)據(jù)模型
　　8.10最后的思考
　第9章　數(shù)據(jù)倉庫架構：組件
　　9.1架構概述
　　9.2架構師角色
　　9.2.1解決方案架構師
　　9.2.2數(shù)據(jù)倉庫架構師
　　9.2.3技術架構師
　　9.2.4數(shù)據(jù)架構師
　　9.2.5ETL架構師
　　9.2.6BI架構師
　　9.2.7綜合
　　9.3體系結構分層
　　9.3.1單層體系結構
　　9.3.2經典的兩層體系結構
　　9.3.3高級的三層體系結構
　　9.4數(shù)據(jù)倉庫架構
　　9.4.1單獨的數(shù)據(jù)集市架構
　　9.4.2總線結構
　　9.4.3中央存儲庫架構
　　9.4.4聯(lián)合架構
　　9.5組件（分層）
　　9.5.1數(shù)據(jù)源
　　9.5.2數(shù)據(jù)生成
　　9.5.3數(shù)據(jù)組織
　　9.5.4數(shù)據(jù)分發(fā)
　　9.5.5信息輸出
　　9.6實現(xiàn)方式
　　9.6.1數(shù)據(jù)設計和數(shù)據(jù)流
　　9.6.2邏輯和物理模型
　　9.6.3自上而下的方式
　　9.6.4自下而上的方式
　　9.6.5混合模式
　　9.7捷徑
　　9.7.1數(shù)據(jù)采集層
　　9.7.2中央數(shù)據(jù)層
　　9.7.3數(shù)據(jù)分發(fā)層
　　9.7.4表現(xiàn)層
　　9.7.5用戶展現(xiàn)層
　　9.7.6方法論
　　9.7.7現(xiàn)成的解決方案
　第10章　ETL和數(shù)據(jù)質量
　　10.1架構
　　10.1.1數(shù)據(jù)獲取
　　10.1.2數(shù)據(jù)分發(fā)
　　10.1.3ETL映射
　　10.1.4初始加載和增量加載
　　10.1.5ETL、ELT和ETTL
　　10.1.6并行操作
　　10.1.7ETL功能角色
　　10.1.8數(shù)據(jù)流圖
　　10.1.9業(yè)務數(shù)據(jù)存儲系統(tǒng)
　　10.2數(shù)據(jù)源系統(tǒng)
　　10.2.1沒有數(shù)據(jù)源
　　10.2.2多個數(shù)據(jù)源
　　10.2.3其他來源（結構化輸入文件）
　　10.2.4非結構化數(shù)據(jù)
　　10.3數(shù)據(jù)剖析
　　10.4數(shù)據(jù)獲取
　　10.4.1多個大文件
　　10.4.2偽文件
　　10.4.3故障預防策略
　　10.5轉換和臨時數(shù)據(jù)存儲
　　10.5.1準備工作
　　10.5.2代理鍵
　　10.5.3參照完整性
　　10.5.4聚合、分析和匯總
　　10.5.5編碼表
　　10.6加載
　　10.6.1是否加載歷史數(shù)據(jù)
　　10.6.2插入、更新、插入或更新、刪除
　　10.6.3數(shù)據(jù)獲取信息
　　10.6.4加載調度
　　10.7企業(yè)數(shù)據(jù)倉庫的臨時數(shù)據(jù)存儲和總線架構的臨時數(shù)據(jù)存儲
　　10.8數(shù)據(jù)分發(fā)
　　10.9數(shù)據(jù)質量
　　10.10ETL工具
　第11章　項目規(guī)劃和方法論
　　11.1基礎
　　11.1.1風險：逐步發(fā)展
　　11.1.2風險：數(shù)據(jù)質量
　　11.1.3風險：資源
　　11.1.4風險：成本
　　11.1.5變更管理
　　11.1.6最佳實踐
　　11.2錯誤
　　11.3項目規(guī)劃方法論
　　11.3.1業(yè)務需求分析
　　11.3.2戰(zhàn)略和規(guī)劃
　　11.3.3解決方案綱要
　　11.3.4設計
　　11.3.5構建
　　11.3.6部署
　　11.3.7使用
第三部分　構建
　第12章　工作場景
　　12.1讓我們開始“烹飪”吧
　　12.2自上而下
　　12.2.1字典
　　12.2.2集中式數(shù)據(jù)模型
　　12.2.3數(shù)據(jù)架構
　　12.2.4數(shù)據(jù)源
　　12.2.5數(shù)據(jù)模型
　　12.2.6數(shù)據(jù)庫
　　12.2.7數(shù)據(jù)獲取
　　12.2.8解決方案概述
　　12.3自下而上
　　12.3.1最終結果
　　12.3.2字典
　　12.3.3數(shù)據(jù)架構
　　12.3.4一致性維度的管理
　　12.3.5數(shù)據(jù)源
　　12.3.6解決方案概述
　　12.4混合式
　　12.4.1起步工作
　　12.4.2數(shù)據(jù)模型
　　12.4.3數(shù)據(jù)架構
　　12.4.4解決方案概述
　　12.5歸并
　　12.6沒有輸入：結構化的輸入文件
　　12.7集成的第二階段
　　12.8更大的框架：企業(yè)信息架構
　第13章　數(shù)據(jù)監(jiān)理
　　13.1什么是數(shù)據(jù)監(jiān)理
　　13.2數(shù)據(jù)監(jiān)理的原因
　　13.3企業(yè)結構
　　13.4驅動和啟動
　　13.5數(shù)據(jù)監(jiān)理的主要方面
　　13.5.1安全性和敏感性
　　13.5.2數(shù)據(jù)質量
　　13.5.3所有權
　　13.5.4變更控制
　　13.6數(shù)據(jù)監(jiān)理的準備工作
　第14章　項目后評審
　　14.1概述
　　14.2項目評審
　　14.3后續(xù)工作

章節(jié)摘錄

3.6 “Just Build It”模式數(shù)據(jù)倉庫戰(zhàn)略是純粹基于IT解決方案。在供應鏈管理中，這就是所謂的“按庫存生產（make-to-stock）”式的項目，期望當環(huán)境建成后，消費需求會蒸蒸日上。通常情況下，這項工作源于數(shù)據(jù)架構、數(shù)據(jù)庫組或一位看到了數(shù)據(jù)倉庫所帶來的收益并且相信不論公司戰(zhàn)略方向是否有明確提出，企業(yè)都應該朝著這個方向發(fā)展的新的IT經理?！癑ust-build-it”模式是純粹的自上而下的解決方案，基于設計中央數(shù)據(jù)層來確定企業(yè)中的所有數(shù)據(jù)。當然，這種方式包含一定的優(yōu)先級排序，以確保已經捕獲了企業(yè)的基礎數(shù)據(jù)。這通常涉及企業(yè)的主交易數(shù)據(jù)以及主要的主題區(qū)域，即“數(shù)據(jù)柱”（data pillars）。舉個例子，在通信企業(yè)中，大部分部門的主數(shù)據(jù)組件是呼叫詳細記錄（call detail records，CDRs）。因此，所有的呼叫詳細記錄信息都會被捕獲，它包括被叫和主叫電話號碼、所有通話涉及的運營商、通話歷時、通話費用、通話時間、通話類型（語音、短信、數(shù)據(jù)等），以及基礎數(shù)據(jù)柱：客戶、產品和位置數(shù)據(jù)。對于零售業(yè)，初始“Just-build-it”式數(shù)據(jù)倉庫構建將側重于銷售點的交易：產品標識、銷售金額、銷售量等?！癑ust-build-it”式解決方案的好處在于IT部門有愿景，從長遠來看可以給企業(yè)帶來積極效益——至少他們相信如此。這種方案的缺點在于IT部門純屬按照自己的意愿來構建數(shù)據(jù)倉庫，缺乏考慮商業(yè)用途。這意味著預算會很低，該項目很可能會成為某位數(shù)據(jù)大師或經理的“私人項目”（pet project）。通常情況下，IT部門期望尋求業(yè)務部門中間管理層的支持，而不需要更高管理層的支持。在這些情況下，通常會創(chuàng)建一個“本地”（home-grown）數(shù)據(jù)模型。如果構建數(shù)據(jù)模型時考慮了系統(tǒng)靈活性，一切都會進展良好。如果數(shù)據(jù)模型構建是基于“一步登天”的想法，即試著一次性完成對所有數(shù)據(jù)的分析，其工作量將會嚴重過大，因為一次性想要完成地太多。你可能聽說過幾年前所做過的這種嘗試，或者有人試圖這么做，結果是項目變得過于龐大，資源變得非常緊張，因而只好放棄了。當購買一個已構建的數(shù)據(jù)模型，并在后面的工作中考慮數(shù)據(jù)結構和企業(yè)，這種方式往往是最好的。如果企業(yè)數(shù)據(jù)模型是基于先前某個項目工作的“本地”模型，可能會發(fā)現(xiàn)為了第二個、第三個以及后面的所有項目，模型都需要不斷做出改變。最終結果是企業(yè)全局視圖由于不斷的重設計而逐漸銷蝕。預先購買模型能夠支持某些結構，從而知道在構建中每個元素的地位，對于后面的數(shù)據(jù)組織也提供了一個很好的方式。關于數(shù)據(jù)模型結構化的更多信息將在本書的第二部分詳細闡述。這些“Just-build-it”式數(shù)據(jù)倉庫解決方案可能也會帶來很壞的影響，因為他們以近乎說教的方式在企業(yè)內宣傳其解決方案。業(yè)務人員開始厭倦于聽他們應該做什么這樣的說教，往往采取回避方式。需要提醒一點的是，一旦拉到一個贊助商，就可以重點集中，開發(fā)工作就可以實現(xiàn)快速向前發(fā)展對于后期的完善，“Just-build-it”式數(shù)據(jù)倉庫解決方案代價很高，而且缺乏重點。如果工作只是為了創(chuàng)建企業(yè)字典和企業(yè)邏輯數(shù)據(jù)模型而沒有報表，沒有數(shù)據(jù)庫環(huán)境，沒有ETL功能，僅僅是簡單的有時包含數(shù)據(jù)搜尋（data sourcing）數(shù)據(jù)設計實踐，然后就是完成這些實踐。記住，數(shù)據(jù)倉庫應該能夠提升企業(yè)價值。如果數(shù)據(jù)倉庫的構建工作包含企業(yè)數(shù)據(jù)庫的構建，這看起來是個好主意，但是缺乏投資回報率關聯(lián)，因此不具備商業(yè)用途和價值。數(shù)據(jù)建模人員應該致力于哪一方面：客戶、產品還是事件？如果IT戰(zhàn)略是為了構建這樣的環(huán)境，那么應該有贊助、預算、重點以及商業(yè)價值。如果構建該數(shù)據(jù)倉庫是某位經理的提案，可能在資源分配和工作上存在機會成本，它會影響當前的業(yè)務計劃。

編輯推薦

《數(shù)據(jù)倉庫應用指南:數(shù)據(jù)倉庫與商務智能最佳實踐》編輯推薦：設計、部署和管理自定義數(shù)據(jù)倉庫；創(chuàng)建安全、開放和靈活的商務智能架構；規(guī)劃未來數(shù)據(jù)需求和使用。

圖書封面

圖書標簽Tags

無

評論、評分、閱讀與下載

---

    數(shù)據(jù)倉庫應用指南 PDF格式下載

---