出版時間:2010-9 出版社:電子工業(yè) 作者:薛薇//陳歡歌 頁數(shù):303
Tag標簽:無
前言
數(shù)據(jù)挖掘是當前數(shù)據(jù)分析領(lǐng)域中最活躍最前沿的地帶。任何事物都有定性和定量兩個方面,定量則產(chǎn)生數(shù)據(jù)。從數(shù)據(jù)分析入手是我們認識事物本質(zhì)的基本手段。任何事物都是互相關(guān)聯(lián)著的,從數(shù)據(jù)分析入手是我們把握事物之間聯(lián)系的基本方法。任何事物都在永恒地變化發(fā)展著,從數(shù)據(jù)分析入手是我們探索事物發(fā)展規(guī)律的基本思路。所以我們進行數(shù)據(jù)分析,既是一種世界觀,也是一種方法論。我們在研究著豐富多彩的客觀世界的同時,也體現(xiàn)著分析者主觀的智慧和自身的價值。隨著中國社會經(jīng)濟的蓬勃發(fā)展,在錯綜復(fù)雜的宏觀、中觀和微觀的共同作用下,戰(zhàn)略決策和戰(zhàn)術(shù)選擇都顯得敏感而關(guān)鍵,越來越多的人們加入到數(shù)據(jù)分析的行列中來。這是一個非常富有挑戰(zhàn)性的工作,不但有意思而且有意義。IBM公司于2009年1月公布了其“智慧地球”戰(zhàn)略。該戰(zhàn)略的主要思想是,將傳感設(shè)備或智能儀表嵌入到建筑、電力、交通、管道等各種物體中,進行數(shù)據(jù)自動采集,之后基于互聯(lián)網(wǎng)形成物物相聯(lián)的物聯(lián)網(wǎng),然后通過超級計算機和云計算將數(shù)據(jù)整合,進行智能化分析和建模,從而實現(xiàn)社會與物理世界的融合。這是一個未來理想化的信息世界圖景。在這個智慧系統(tǒng)中,其核心是數(shù)據(jù)處理。為此,IBM公司于2009年7月斥資12億美元收購了著名的SPSS統(tǒng)計分析軟件公司,將其應(yīng)用廣泛的SPSS統(tǒng)計分析軟件和Clementine數(shù)據(jù)挖掘軟件納入麾下。同時對軟件產(chǎn)品進行了整合,將Clementine更新命名為PASW(Predictive Analytics Software)Modeler,并快速推向市場。目前,SPSS Clementine軟件已經(jīng)連續(xù)若干年蟬聯(lián)數(shù)據(jù)挖掘應(yīng)用的王者,而業(yè)界對于PASW Modeler的認知則剛剛開始。所以本書繼續(xù)沿用為廣大讀者所熟悉的Clementine這個名字。Clementine軟件不但將計算機科學中許多機器學習的優(yōu)秀算法帶入到數(shù)據(jù)分析中來,同時也綜合了一些行之有效的數(shù)據(jù)挖掘方法,成為內(nèi)容最為全面、功能最為強大的數(shù)據(jù)挖掘產(chǎn)品。Clementine軟件充分利用計算機系統(tǒng)的運算處理能力和圖形展現(xiàn)能力,將方法、應(yīng)用與工具有機地融合為一體,是解決數(shù)據(jù)挖掘問題的最理想工具。Clementine軟件繼續(xù)保持了SPSS產(chǎn)品的一貫風格:界面友好且容易使用。復(fù)雜的數(shù)學算法和冗余的輸出結(jié)果被軟件隱藏在程序系統(tǒng)內(nèi)部。
內(nèi)容概要
數(shù)據(jù)挖掘是當前數(shù)據(jù)分析領(lǐng)域中最活躍最前沿的地帶。本書以數(shù)據(jù)挖掘的實踐過程為主線,通過生動的應(yīng)用案例,從數(shù)據(jù)挖掘?qū)嵤┙嵌?,系統(tǒng)介紹了經(jīng)典的數(shù)據(jù)挖掘方法和利用Clementine實現(xiàn)數(shù)據(jù)挖掘的全部過程,講解方法從易到難,說明問題從淺至深。本書力求以最通俗的方式闡述數(shù)據(jù)挖掘方法的核心思想與基本原理,同時配合Clementine軟件操作的說明,希望讀者能夠直觀了解方法本質(zhì),盡快掌握Clementine軟件使用,并應(yīng)用到數(shù)據(jù)挖掘?qū)嵺`中。為方便讀者學習,書中所有數(shù)據(jù)和案例與所附光盤內(nèi)容一致。 本書適合于從事數(shù)據(jù)分析各應(yīng)用領(lǐng)域的讀者,尤其適合于商業(yè)管理、財政經(jīng)濟、金融保險、社會研究、人文教育等行業(yè)的相關(guān)人員。同時,也能夠作為高等院校計算機類、財經(jīng)類、管理類專業(yè)本科生和研究生的數(shù)據(jù)挖掘教材。
書籍目錄
第1章 數(shù)據(jù)挖掘和Clementine概述 1.1 數(shù)據(jù)挖掘的產(chǎn)生背景 1.1.1 海量數(shù)據(jù)的分析需求催生數(shù)據(jù)挖掘 1.1.2 應(yīng)用對理論的挑戰(zhàn)催生數(shù)據(jù)挖掘 1.2 什么是數(shù)據(jù)挖掘 1.2.1 數(shù)據(jù)挖掘的概念 1.2.2 數(shù)據(jù)挖掘能做什么 1.2.3 數(shù)據(jù)挖掘得到的知識形式 1.2.4 數(shù)據(jù)挖掘的算法分類 1.3 Clementine軟件概述 1.3.1 Clementine的窗口 1.3.2 數(shù)據(jù)流的基本管理和執(zhí)行 1.3.3 數(shù)據(jù)流的其他管理 1.3.4 從一個示例看Clementine的使用第2章 Clementine數(shù)據(jù)的讀入 2.1 變量的類型 2.1.1 從數(shù)據(jù)挖掘角度看變量類型 2.1.2 從數(shù)據(jù)存儲角度看變量類型 2.2 讀入數(shù)據(jù) 2.2.1 讀自由格式的文本文件 2.2.2 讀Excel電子表格數(shù)據(jù) 2.2.3 讀SPSS格式文件 2.2.4 讀數(shù)據(jù)庫文件 2.3 生成實驗方案數(shù)據(jù) 2.4 合并數(shù)據(jù) 2.4.1 數(shù)據(jù)的縱向合并 2.4.2 數(shù)據(jù)的橫向合并第3章 Clementine變量的管理 3.1 變量說明 3.1.1 取值范圍和缺失值的說明 3.1.2 變量取值有效性檢查和修正 3.1.3 變量角色的說明 3.2 變量值的重新計算 3.2.1 CLEM表達式 3.2.2 變量值重新計算示例 3.3 變量類別值的調(diào)整 3.4 生成新變量 3.5 變量值的離散化處理 3.5.1 常用的分箱方法 3.5.2 變量值的離散化處理示例 3.6 生成樣本集分割變量 3.6.1 樣本集分割的意義和常見方法 3.6.2 生成樣本集分割變量的示例第4章 Clementine樣本的管理 4.1 樣本的排序 4.2 樣本的條件篩選 4.3 樣本的隨機抽樣 4.4 樣本的濃縮處理 4.5 樣本的分類匯總 4.6 樣本的平衡處理 4.7 樣本的其他管理 4.7.1 數(shù)據(jù)轉(zhuǎn)置 4.7.2 數(shù)據(jù)的重新組織第5章 Clementine數(shù)據(jù)的基本分析 5.1 數(shù)據(jù)質(zhì)量的探索 5.1.1 數(shù)據(jù)的基本描述與質(zhì)量探索 5.1.2 離群點和極端值的修正 5.1.3 缺失值的替補 5.1.4 數(shù)據(jù)質(zhì)量管理的其他功能 5.2 基本描述分析 5.2.1 計算基本描述統(tǒng)計量 5.2.2 繪制散點圖 5.3 變量分布的探索 5.4 兩分類變量相關(guān)性的研究 5.4.1 兩分類變量相關(guān)性的圖形分析 5.4.2 兩分類變量相關(guān)性的數(shù)值分析 5.5 兩總體的均值比較 5.5.1 兩總體均值比較的圖形分析 5.5.2 獨立樣本的均值檢驗 5.5.3 配對樣本的均值檢驗 5.6 變量重要性的分析 5.6.1 變量重要性分析的一般方法 5.6.2 變量重要性分析的應(yīng)用示例第6章 分類預(yù)測:Clementine的決策樹 6.1 決策樹算法概述 6.1.1 什么是決策樹 6.1.2 決策樹的幾何理解 6.1.3 決策樹的核心問題 6.2 Clementine的C5.0算法及應(yīng)用 6.2.1 信息熵和信息增益 6.2.2 C5.0的決策樹生長算法 6.2.3 C5.0的剪枝算法 6.2.4 C5.0的推理規(guī)則集 6.2.5 C5.0的基本應(yīng)用示例 6.2.6 C5.0的損失矩陣和Boosting技術(shù) 6.2.7 C5.0的模型評價 6.2.8 C5.0的其他話題:推理規(guī)則、交叉驗證和未剪枝的決策樹 6.3 Clementine的分類回歸樹及應(yīng)用 6.3.1 分類回歸樹的生長過程 6.3.2 分類回歸樹的剪枝過程 6.3.3 損失矩陣對分類樹的影響 6.3.4 分類回歸樹的基本應(yīng)用示例 6.3.5 分類回歸樹的交互建模 6.3.6 分類回歸樹的模型評價 6.4 Clementine的CHAID算法及應(yīng)用 6.4.1 CHAID分組變量的預(yù)處理和選擇策略 6.4.2 Exhaustive CHAID算法 6.4.3 CHAID的剪枝 6.4.4 CHAID的應(yīng)用示例 6.5 Clementine的QUEST算法及應(yīng)用 6.5.1 QUEST算法確定最佳分組變量和分割點的方法 6.5.2 QUEST算法的應(yīng)用示例 6.6 決策樹算法評估的圖形比較 6.6.1 不同模型的誤差對比 6.6.2 不同模型收益的對比第7章 分類預(yù)測:Clementine的人工神經(jīng)網(wǎng)絡(luò) 7.1 人工神經(jīng)網(wǎng)絡(luò)算法概述 7.1.1 人工神經(jīng)網(wǎng)絡(luò)的概念和種類 7.1.2 人工神經(jīng)網(wǎng)絡(luò)中的節(jié)點和意義 7.1.3 人工神經(jīng)網(wǎng)絡(luò)建立的一般步驟 7.2 Clementine的B-P反向傳播網(wǎng)絡(luò) 7.2.1 感知機模型 7.2.2 B-P反向傳播網(wǎng)絡(luò)的特點 7.2.3 B-P反向傳播算法 7.2.4 B-P反向傳播網(wǎng)絡(luò)的其他問題 7.3 Clementine的B-P反向傳播網(wǎng)絡(luò)的應(yīng)用 7.3.1 基本操作說明 7.3.2 計算結(jié)果說明 7.3.3 提高模型預(yù)測精度 7.4 Clementine的徑向基函數(shù)網(wǎng)絡(luò)及應(yīng)用 7.4.1 徑向基函數(shù)網(wǎng)絡(luò)中的隱節(jié)點和輸出節(jié)點 7.4.2 徑向基函數(shù)網(wǎng)絡(luò)的學習過程 7.4.3 徑向基函數(shù)網(wǎng)絡(luò)的應(yīng)用示例第8章 分類預(yù)測:Clementine的統(tǒng)計方法 8.1 Clementine的Logistic回歸分析及應(yīng)用 8.1.1 二項Logistic回歸方程 8.1.2 二項Logistic回歸方程系數(shù)的含義 8.1.3 二項Logistic回歸方程的檢驗 8.1.4 二項Logistic回歸分析的應(yīng)用示例 8.1.5 多項Logistic回歸分析的應(yīng)用示例 8.2 Clementine的判別分析及應(yīng)用 8.2.1 距離判別法 8.2.2 Fisher判別法 8.2.3 貝葉斯判別法 8.2.4 判別分析的應(yīng)用示例第9章 探索內(nèi)部結(jié)構(gòu):Clementine的關(guān)聯(lián)分析 9.1 簡單關(guān)聯(lián)規(guī)則及其有效性 9.1.1 簡單關(guān)聯(lián)規(guī)則的基本概念 9.1.2 簡單關(guān)聯(lián)規(guī)則的有效性和實用性 9.2 Clementine的Apriori算法及應(yīng)用 9.2.1 產(chǎn)生頻繁項集 9.2.2 依據(jù)頻繁項集產(chǎn)生簡單關(guān)聯(lián)規(guī)則 9.2.3 Apriori算法的應(yīng)用示例 9.3 Clementine的GRI算法及應(yīng)用 9.3.1 GRI算法基本思路 9.3.2 GRI算法的具體策略 9.3.3 GRI算法的應(yīng)用示例 9.4 Clementine的序列關(guān)聯(lián)及應(yīng)用 9.4.1 序列關(guān)聯(lián)中的基本概念 9.4.2 Sequence算法 9.4.3 序列關(guān)聯(lián)的時間約束 9.4.4 序列關(guān)聯(lián)分析的應(yīng)用示例第10章 探索內(nèi)部結(jié)構(gòu):Clementine的聚類分析 10.1 聚類分析的一般問題 10.1.1 聚類分析的提出 10.1.2 聚類分析的算法 10.2 Clementine的K-Means聚類及應(yīng)用 10.2.1 K-Means對“親疏程度”的測度 10.2.2 K-Means聚類過程 10.2.3 K-Means聚類的應(yīng)用示例 10.3 Clementine的兩步聚類及應(yīng)用 10.3.1 兩步聚類對“親疏程度”的測度 10.3.2 兩步聚類過程 10.3.3 聚類數(shù)目的確定 10.3.4 兩步聚類的應(yīng)用示例 10.4 Clementine的Kohonen網(wǎng)絡(luò)聚類及應(yīng)用 10.4.1 Kohonen網(wǎng)絡(luò)的聚類機理 10.4.2 Kohonen網(wǎng)絡(luò)的聚類過程 10.4.3 Kohonen網(wǎng)絡(luò)聚類的示例 10.5 基于聚類分析的離群點探索及應(yīng)用 10.5.1 多維空間基于聚類的診斷方法 10.5.2 多維空間基于聚類的診斷方法應(yīng)用示例參考文獻
章節(jié)摘錄
插圖:數(shù)據(jù)挖掘,作為20世紀90年代中后期興起的,具有鮮明跨學科色彩的應(yīng)用和研究領(lǐng)域,因其注重減少數(shù)據(jù)分析方法對數(shù)據(jù)的限制性和約束性,注重與計算機技術(shù)結(jié)合以實現(xiàn)數(shù)據(jù)的可管理性以及分析的易操作性,已成為數(shù)據(jù)分析應(yīng)用實踐的新生代。同時,隨著數(shù)據(jù)挖掘方法的不斷成熟及其應(yīng)用的日益普及化,數(shù)據(jù)挖掘軟件的研發(fā)也取得了令人可喜的成果。目前,以Clementine為代表的數(shù)據(jù)挖掘軟件,因其有效地將束之高閣的數(shù)據(jù)挖掘理論成果解放到數(shù)據(jù)分析實踐中,已普遍應(yīng)用于商業(yè)、社會、經(jīng)濟、教育、金融、醫(yī)學等領(lǐng)域,并成為數(shù)據(jù)分析的主流工具,得到數(shù)據(jù)分析相關(guān)領(lǐng)域的極大關(guān)注。1.1 數(shù)據(jù)挖掘的產(chǎn)生背景數(shù)據(jù)挖掘的產(chǎn)生和興起是在計算機數(shù)據(jù)庫技術(shù)蓬勃發(fā)展,人工智能技術(shù)應(yīng)用領(lǐng)域不斷拓展,統(tǒng)計分析方法不斷豐富過程中,為有效迎合數(shù)據(jù)分析的實際需求而逐步形成和發(fā)展起來的一門具有鮮明跨學科色彩的應(yīng)用研究領(lǐng)域。1.1.1 海量數(shù)據(jù)的分析需求催生數(shù)據(jù)挖掘20世紀80年代以來,隨著計算機數(shù)據(jù)庫技術(shù)和產(chǎn)品的日益成熟以及計算機應(yīng)用的普及深化,各行業(yè)部門的數(shù)據(jù)采集能力得到了前所未有的提高,組織通過各自內(nèi)部的業(yè)務(wù)處理系統(tǒng)、管理信息系統(tǒng)以及外部網(wǎng)絡(luò)系統(tǒng),獲得并積累了浩如煙海的數(shù)據(jù)。以商業(yè)領(lǐng)域為例,美國著名的連鎖超市Wal-Mart的數(shù)據(jù)庫中已積累了TB級以上的顧客購買行為數(shù)據(jù)和其他銷售數(shù)據(jù)。隨著互聯(lián)網(wǎng)和電子商務(wù)的普及,各類網(wǎng)上書店、網(wǎng)上銀行、網(wǎng)上營業(yè)廳和網(wǎng)上商城等積累的Web點擊流數(shù)據(jù),存儲容量也多高達GB級。另外,國家政府部門所積累的數(shù)據(jù)量也令人瞠目。例如,一次全國經(jīng)濟普查或人口普查所采集和處理數(shù)據(jù)量均在千萬級以上。同時,各經(jīng)濟行業(yè)的企業(yè)內(nèi)部也擁有大量的業(yè)務(wù)數(shù)據(jù)、財務(wù)數(shù)據(jù)和人事數(shù)據(jù)。在嚴酷的市場競爭壓力下,企業(yè)為更客觀地把握自身和市場狀況,提升內(nèi)部管理和決策水平,管理者們面對如此豐富的海量數(shù)據(jù),分析需求越來越強烈。
編輯推薦
《Clementine數(shù)據(jù)挖掘方法及應(yīng)用》由電子工業(yè)出版社出版。
圖書封面
圖書標簽Tags
無
評論、評分、閱讀與下載
Clementine數(shù)據(jù)挖掘方法及應(yīng)用 PDF格式下載