大話數(shù)據(jù)挖掘

前言

前言本書的萌發(fā)上世紀(jì)80年代末到90年代初，國(guó)內(nèi)外廣泛流傳著一句耐人尋味的話語：我們沉浸在數(shù)據(jù)的海洋中，卻渴望著知識(shí)的淡水。這句話生動(dòng)地描繪了當(dāng)時(shí)人們面對(duì)海量數(shù)據(jù)的迷惘和無奈。就在這時(shí)，世界商業(yè)巨頭沃爾瑪從其龐大的交易數(shù)據(jù)庫中演繹了一場(chǎng)“啤酒和尿布的故事”，揭示了一條隱藏在海量數(shù)據(jù)中的、美國(guó)人的一種行為規(guī)律：年齡在25～35歲的年輕父親下班后經(jīng)常要到超市去給嬰兒買尿布，而他們中有30%～40%的人順手為自己買幾瓶啤酒。受這條簡(jiǎn)單的客戶行為模式的啟發(fā)，沃爾瑪調(diào)整了商品布局，并策劃了促銷價(jià)格，結(jié)果銷售量大增。這一現(xiàn)象引起了科學(xué)界的注意，他們將“啤酒和尿布的故事”引申為“關(guān)聯(lián)規(guī)則獲取”，進(jìn)而將“從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又潛在有用的信息和知識(shí)的過程”定義為“數(shù)據(jù)挖掘”。需求是成功之源，于是西方發(fā)達(dá)國(guó)家刮起了一場(chǎng)數(shù)據(jù)挖掘的風(fēng)暴。商業(yè)界發(fā)現(xiàn)了沃爾瑪迅猛發(fā)展的秘訣，紛紛效仿。電信行業(yè)也沸騰了，各公司紛紛爭(zhēng)先恐后地利用數(shù)據(jù)挖掘這一銳利武器解決他們面臨的最緊迫的問題（如客戶分群、客戶會(huì)流失原因及預(yù)測(cè)、業(yè)務(wù)套餐及響應(yīng)、關(guān)聯(lián)消費(fèi)等）。工業(yè)界也行動(dòng)了，他們從堆積如山的數(shù)據(jù)中，挖掘出指導(dǎo)生產(chǎn)和管理的決策規(guī)則。上世紀(jì)90年代中期以后，基于數(shù)理統(tǒng)計(jì)、人工智能、機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)等多種技術(shù)的數(shù)據(jù)挖掘技術(shù)已經(jīng)成為研究和應(yīng)用的熱點(diǎn)，數(shù)據(jù)挖掘在我國(guó)也開始推廣應(yīng)用。然而，從這么多年的情況來看，我國(guó)數(shù)據(jù)挖掘的應(yīng)用與發(fā)達(dá)國(guó)家還有很大差距。我們僅在互聯(lián)網(wǎng)、金融、電信和商業(yè)等領(lǐng)域有一些成功的應(yīng)用，而在其他行業(yè)如制造、航空、醫(yī)藥、軍工、化工、稅務(wù)、反恐和刑偵等只有少量的嘗試。為什么會(huì)這樣呢？IT界、企業(yè)界和學(xué)術(shù)界的有識(shí)之士無不在思考著這樣的問題。進(jìn)行數(shù)據(jù)挖掘，數(shù)據(jù)是基礎(chǔ)，難道是我國(guó)的信息化建設(shè)還未達(dá)到一定的程度，數(shù)據(jù)積累不夠？進(jìn)入21世紀(jì)前可以這么說，可現(xiàn)在，顯然不是。目前，我國(guó)的大中型企業(yè)，大多建立了先進(jìn)的信息化系統(tǒng)，甚至相當(dāng)多的企業(yè)構(gòu)建了數(shù)據(jù)倉庫，而且數(shù)據(jù)日復(fù)一日、爆炸式地增長(zhǎng)，可謂堆積如山。然而，很多企業(yè)對(duì)數(shù)據(jù)挖掘的認(rèn)識(shí)還不全面，甚至感覺其神秘不可信，這樣的話，生產(chǎn)管理中遇到了不能解決的問題，自然不會(huì)用數(shù)據(jù)挖掘的思想思考，甚至基層部門提出使用這樣的方法，管理層卻因?qū)Υ瞬簧趿私舛鵁o力推動(dòng)。為此，我們期望從領(lǐng)導(dǎo)層和生產(chǎn)一線的工作人員普及數(shù)據(jù)挖掘知識(shí)開始，喚起人們對(duì)數(shù)據(jù)新的認(rèn)識(shí)：數(shù)據(jù)是客觀實(shí)際的反映，它體現(xiàn)了營(yíng)銷規(guī)律、生產(chǎn)規(guī)律、經(jīng)營(yíng)規(guī)律和產(chǎn)品質(zhì)量控制規(guī)律。更重要的是，使企業(yè)管理告別基于簡(jiǎn)單統(tǒng)計(jì)分析的“報(bào)表”決策時(shí)期，跨入數(shù)據(jù)挖掘的“知識(shí)”決策時(shí)代。為了實(shí)現(xiàn)這一目標(biāo)，迫切地需要一本使企業(yè)管理者和基層工作者喜聞樂見的讀物。然而，市面上的數(shù)據(jù)挖掘書籍幾乎全是教科書形式，理論性太強(qiáng)，滿篇數(shù)學(xué)公式，讓人望而卻步，而且應(yīng)用實(shí)例甚少，讓人難以理解。在這種情況下，我們大膽地萌發(fā)出一種案例教學(xué)法編寫思路，以課堂教學(xué)為線索，介紹數(shù)據(jù)挖掘的基本概念和應(yīng)用過程，讓讀者輕松地走進(jìn)數(shù)據(jù)挖掘，領(lǐng)略數(shù)據(jù)挖掘的神奇魅力。本書的讀者群如果您是一位企業(yè)或政府部門的領(lǐng)導(dǎo)，您可以利用乘飛機(jī)的閑暇，與本書中的徐教授和各行各業(yè)的精英們一起，走進(jìn)數(shù)據(jù)挖掘的世界，相信當(dāng)您下飛機(jī)的時(shí)候，一定會(huì)浮想聯(lián)翩，產(chǎn)生許多新的思路；如果您是一位企業(yè)管理、生產(chǎn)一線的技術(shù)人員，利用一個(gè)周末的休息時(shí)間，通過本書，您會(huì)對(duì)數(shù)據(jù)挖掘有初步而較為系統(tǒng)的了解和認(rèn)識(shí)，您會(huì)自覺地嘗試?yán)脭?shù)據(jù)挖掘的方法解決實(shí)際問題；如果您是一位想系統(tǒng)學(xué)習(xí)數(shù)據(jù)挖掘知識(shí)的學(xué)生或科技工作者，亦可以通過本書的閱讀，為以后的學(xué)習(xí)奠定好基礎(chǔ)。本書的內(nèi)容全書共9章。第1章，揭開數(shù)據(jù)挖掘的面紗，從三個(gè)真實(shí)而有趣的故事開始，讓讀者了解數(shù)據(jù)挖掘的概念、數(shù)據(jù)挖掘產(chǎn)生與發(fā)展、數(shù)據(jù)挖掘的功能和數(shù)據(jù)挖掘技術(shù)，本章深入淺出地介紹了關(guān)聯(lián)規(guī)則、聚類分析、預(yù)測(cè)（分類和回歸）、時(shí)間序列等數(shù)據(jù)挖掘方法及常用算法；第2章簡(jiǎn)述數(shù)據(jù)挖掘流程，以某冶金企業(yè)生產(chǎn)中遇到的質(zhì)量控制技術(shù)攻關(guān)難題的解決過程為線索，活靈活現(xiàn)地展現(xiàn)了一個(gè)數(shù)據(jù)挖掘問題的項(xiàng)目立項(xiàng)及其實(shí)施過程；第3章到第9章以典型案例的形式分別介紹了數(shù)據(jù)挖掘技術(shù)在電力行業(yè)、交通航空領(lǐng)域、冶金行業(yè)、稅務(wù)與金融行業(yè)、故障診斷、電信行業(yè)、互聯(lián)網(wǎng)行業(yè)方面的應(yīng)用。本書的特色形式新穎本書以EMBA班的“數(shù)據(jù)挖掘技術(shù)及其應(yīng)用”教學(xué)為場(chǎng)景，通過教師與學(xué)員互動(dòng)共鳴的形式，帶領(lǐng)讀者步入數(shù)據(jù)挖掘的神秘殿堂，領(lǐng)略數(shù)據(jù)挖掘的神奇魅力。這種寫作方式，避免了傳統(tǒng)教科書理論性太強(qiáng)，數(shù)學(xué)公式繁多，讓非專業(yè)數(shù)據(jù)挖掘者望而卻步的缺陷。案例導(dǎo)讀本書通過數(shù)據(jù)挖掘的典型案例，引導(dǎo)讀者領(lǐng)略如何利用數(shù)據(jù)挖掘技術(shù)解決各行各業(yè)生產(chǎn)和管理中的實(shí)際問題。擯棄了晦澀難懂的理論，在解決問題的過程中了解數(shù)據(jù)挖掘技術(shù)及其應(yīng)用方法，學(xué)會(huì)“讓數(shù)據(jù)說話，以數(shù)據(jù)輔助決策”的新理念。創(chuàng)作團(tuán)隊(duì)本書由西安交大美林?jǐn)?shù)據(jù)挖掘研究中心策劃，靖穩(wěn)峰、盧耀宗等編寫，程宏亮為本書審定了章節(jié)劃分并精選了案例素材，王璐為本書審定了故事構(gòu)思和語言風(fēng)格，程宏斌、李煒、強(qiáng)勁和黃蓉等對(duì)本書提出了大量的建設(shè)性構(gòu)想和修改意見，并參與了部分章節(jié)的編寫。陳浩銘和王羽為本書制作了精美插圖。致謝西安交通大學(xué)徐宗本院士在百忙中對(duì)本書的構(gòu)思、寫作給予了悉心指導(dǎo)，清華大學(xué)出版社欒大成編輯對(duì)本書原稿字斟句酌，使得本書增色不少，這里一并表示衷心感謝。西安交大美林?jǐn)?shù)據(jù)挖掘研究中心還有許多同事為本書的出版付出了大量心血，在此表示誠摯的謝意。編者

內(nèi)容概要

本書以EMBA班的“數(shù)據(jù)挖掘技術(shù)及其應(yīng)用”教學(xué)為場(chǎng)景，帶領(lǐng)讀者步入數(shù)據(jù)挖掘的神秘殿堂，領(lǐng)略數(shù)據(jù)挖掘的神奇魅力。全書分為9章：第1章從三個(gè)真實(shí)故事開始數(shù)據(jù)挖掘之旅；第2章以某企業(yè)生產(chǎn)中遇到的質(zhì)量控制難題的解決過程為線索，展現(xiàn)數(shù)據(jù)挖掘的實(shí)施過程；第3章到第9章以典型案例的形式分別介紹了數(shù)據(jù)挖掘技術(shù)在電力行業(yè)、交通航空領(lǐng)域、冶金行業(yè)、稅務(wù)與金融行業(yè)、電信行業(yè)、故障診斷以及互聯(lián)網(wǎng)行業(yè)的應(yīng)用。
數(shù)據(jù)挖掘是一種專業(yè)性極強(qiáng)的技術(shù)，本書避開大量晦澀的概念和令人生畏的數(shù)學(xué)公式，以師生互動(dòng)討論的形式讓讀者走進(jìn)數(shù)據(jù)挖掘殿堂，進(jìn)而深入淺出、循序漸進(jìn)地感知數(shù)據(jù)挖掘。隨著閱讀，讀者會(huì)自然而然地身臨課堂，“讓數(shù)據(jù)說話，從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，科學(xué)決策”等新的理念會(huì)使讀者對(duì)實(shí)際工作中面臨的復(fù)雜問題浮想聯(lián)翩、另辟新徑。
本書適合企事業(yè)部門的領(lǐng)導(dǎo)、管理人員、生產(chǎn)一線的技術(shù)人員，另外，學(xué)生或者行業(yè)工作者，可以通過本書的閱讀，為以后的學(xué)習(xí)奠定好基礎(chǔ)。

作者簡(jiǎn)介

西安交大美林?jǐn)?shù)據(jù)挖掘研究中心
中心集西安美林電子有限公司十五年信息化建設(shè)經(jīng)驗(yàn)和西安交通大學(xué)二十多年數(shù)據(jù)挖掘基礎(chǔ)與應(yīng)用研究精華，致力于將先進(jìn)的數(shù)據(jù)挖掘與分析處理技術(shù)與中國(guó)信息化建設(shè)緊密融合，幫助中國(guó)企業(yè)在物聯(lián)網(wǎng)、電子商務(wù)、智慧制造、智能交通等領(lǐng)域創(chuàng)造價(jià)值。
中心數(shù)據(jù)挖掘研發(fā)團(tuán)隊(duì)處于國(guó)內(nèi)第一梯隊(duì)，擁有世界領(lǐng)先的視覺聚類和基于L1/2
正則化的稀疏分類、回歸算法及國(guó)內(nèi)多行業(yè)數(shù)據(jù)挖掘?qū)嵺`經(jīng)驗(yàn)。西安交大美林?jǐn)?shù)據(jù)挖掘研究中心努力以數(shù)據(jù)挖掘技術(shù)推動(dòng)中國(guó)企業(yè)實(shí)現(xiàn)“中國(guó)創(chuàng)造”！

書籍目錄

第1章 揭開數(shù)據(jù)挖掘的面紗
1.1 歷史的使命
1.2 數(shù)據(jù)挖掘的故事
1.2.1 震撼業(yè)界的發(fā)現(xiàn)
1.2.2 降低成本的絕活
1.2.3 出奇制勝的小紙條
1.3 什么是數(shù)據(jù)挖掘？
1.4 歷史的必然
1.5 數(shù)據(jù)挖掘能干什么？
1.5.1 關(guān)聯(lián)（ASSOCIATION）規(guī)則挖掘
1.5.2 聚類
1.5.3 預(yù)測(cè)
1.5.4 序列和時(shí)間序列
1.6 數(shù)據(jù)挖掘工具
第2章 數(shù)據(jù)挖掘流程
2.1 李部長(zhǎng)其人
2.2 老革命遇見了新問題
2.3 釣魚釣來了數(shù)據(jù)挖掘思路
2.4 數(shù)據(jù)挖掘項(xiàng)目立項(xiàng)
2.5 數(shù)據(jù)挖掘項(xiàng)目實(shí)施
2.5.1 業(yè)務(wù)理解階段（BUSINESS UNDERSTANDING）
2.5.2 數(shù)據(jù)理解階段（DATA UNDERSTANDING）
2.5.3 數(shù)據(jù)準(zhǔn)備階段（DATA PREPARATION）
2.5.4 建模階段（MODELING）
2.5.5 模型評(píng)估階段（EVALUATION）
2.5.6 部署階段（DEPLOYMENT）
2.6 李部長(zhǎng)的展望
第3章 數(shù)據(jù)挖掘在電力行業(yè)的應(yīng)用
3.1 應(yīng)用前景
3.2 電力設(shè)備狀態(tài)檢修
3.3 電力系統(tǒng)暫態(tài)穩(wěn)定性評(píng)估
3.4 負(fù)荷預(yù)測(cè)
3.5 盜電檢測(cè)
3.6 電力數(shù)據(jù)挖掘系統(tǒng)的構(gòu)建
第4章 數(shù)據(jù)挖掘在交通航空領(lǐng)域的應(yīng)用
4.1 鐵路票價(jià)制定
4.2 高鐵軌道檢修
4.3 交通流量預(yù)測(cè)
第5章 數(shù)據(jù)挖掘在冶金行業(yè)的應(yīng)用
5.1 流程工業(yè)這點(diǎn)兒事
5.2 產(chǎn)品質(zhì)量控制
5.3 高爐爐溫預(yù)測(cè)
5.4 磨礦粒度預(yù)測(cè)
5.5 煉焦配煤優(yōu)化
第6章 數(shù)據(jù)挖掘在稅務(wù)、金融行業(yè)的應(yīng)用
6.1 稅務(wù)稽查
6.2 反洗錢
6.3 股票指數(shù)追蹤
第7章 數(shù)據(jù)挖掘在故障診斷中的應(yīng)用
7.1 火箭發(fā)動(dòng)機(jī)故障診斷
7.2 機(jī)械設(shè)備故障診斷
7.3 核動(dòng)力設(shè)備故障診斷
7.4 船舶動(dòng)力故障診斷
第8章 數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用
8.1 市場(chǎng)細(xì)分
8.1 市場(chǎng)細(xì)分
8.2 精確營(yíng)銷
8.3 業(yè)務(wù)響應(yīng)
8.4 客戶流失分析
第9章 Web數(shù)據(jù)挖掘
9.1 Web數(shù)據(jù)挖掘概述
9.1 Web數(shù)據(jù)挖掘概述
9.2 垂直搜索引擎中的數(shù)據(jù)挖掘
9.3 面向電子商務(wù)的數(shù)據(jù)挖掘
9.4 社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘
參考文獻(xiàn)

章節(jié)摘錄

版權(quán)頁：   插圖：   徐教授：“劉總，問你一個(gè)可能涉及到隱私的問題，你負(fù)責(zé)你們公司產(chǎn)品的營(yíng)銷活動(dòng)策劃吧？” 劉總說：“是的，徐老師，你比外邊那些算命的能掐會(huì)算多了?！?姚局長(zhǎng)說：“徐教授，莫非您也精讀了周易？” 大家都笑翻了，開始更加好奇徐老師是怎么知道的呢。 徐教授：“因?yàn)閁nica Model 1這個(gè)軟件是一款典型的、針對(duì)市場(chǎng)營(yíng)銷和策劃行業(yè)而研發(fā)的軟件?！?“原來是這樣”，學(xué)員們恍然大悟。 徐教授接著說：“Unica Model 1這個(gè)軟件很經(jīng)典，非常暢銷。它涵蓋了響應(yīng)模型、交叉銷售模型、客戶價(jià)值評(píng)估模型、市場(chǎng)細(xì)分模型等，這四部分簡(jiǎn)直就是這個(gè)軟件的四大金剛。還有那個(gè)同學(xué)愿意自告奮勇地給大家講講其他數(shù)據(jù)挖掘工具？” 工行的張行長(zhǎng)說： “我對(duì)SAS軟件了解一些，該系統(tǒng)全稱為Statistics AnalysisSystem，最早由北卡羅來納大學(xué)的兩位生物統(tǒng)計(jì)學(xué)研究生編制，并于1976年成立了SAS軟件研究所，正式推出了SAS軟件。經(jīng)過多年的發(fā)展，SAS已被全世界120多個(gè)國(guó)家和地區(qū)的近3萬家機(jī)構(gòu)所采用，直接用戶則超過300萬人，遍及金融、醫(yī)藥衛(wèi)生、生產(chǎn)、運(yùn)輸、通訊、政府和教育科研等領(lǐng)域。” 上海一家鋼鐵公司的賈總站起來了，補(bǔ)充說道：“我們公司使用的就是SAS軟件。由于SAS系統(tǒng)是從大型機(jī)系統(tǒng)發(fā)展而來，在設(shè)計(jì)上也完全針對(duì)專業(yè)用戶，因此其操作至今仍以編程為主，人機(jī)對(duì)話界面不太友好，并且在編程操作時(shí)需要用戶最好對(duì)其使用的統(tǒng)計(jì)方法有較清楚地了解，非統(tǒng)計(jì)專業(yè)人員掌握起來較為困難。而且SAS極為高昂的價(jià)格和只租不賣的銷售策略使得實(shí)力不足的個(gè)人和機(jī)構(gòu)只能望而卻步。不過，由于其功能強(qiáng)大，我公司專業(yè)人員較多，這幾年我們不惜巨資每年都在租用該軟件?！?徐教授感到很驚訝：“咱們這個(gè)班果真臥虎藏龍。張行長(zhǎng)和賈總回答地非常專業(yè)。不知道的人還以為你倆是SAS公司的‘山寨’銷售專家呢。” 賈總笑了笑，不好意思地說： “我大學(xué)同宿舍的一位同學(xué)在SAS北京辦事處工作，經(jīng)常來上海推銷他們的產(chǎn)品，每次順便來我這兒蹭酒喝，免不了給我叨叨他們的SAS，時(shí)間長(zhǎng)了我就耳熟能詳了。” 徐教授也樂了：“原來如此！” 徐教授的話音剛落，市統(tǒng)計(jì)局程副局長(zhǎng)立即站了起來：“SAS太專業(yè)了，我們統(tǒng)計(jì)分析用SPSS?！?/pre>




編輯推薦
大話經(jīng)典系列新品重拳出擊！掌握數(shù)據(jù)爆炸時(shí)代先人一步的新思維EMBA班教學(xué)實(shí)景展現(xiàn)解析電力、交通、稅務(wù)、故障診斷、互聯(lián)網(wǎng)等行業(yè)的真實(shí)案例談笑間深入理解數(shù)據(jù)挖掘的來龍去脈，入門必讀！





圖書封面



圖書標(biāo)簽Tags
無




評(píng)論、評(píng)分、閱讀與下載



還沒讀過(10)
勉強(qiáng)可看(738)
一般般(125)
內(nèi)容豐富(5222)
強(qiáng)力推薦(428)


 


    大話數(shù)據(jù)挖掘 PDF格式下載