數(shù)據(jù)預(yù)處理

內(nèi)容概要

數(shù)據(jù)歸約是數(shù)據(jù)挖掘過(guò)程的關(guān)鍵環(huán)節(jié)，因此對(duì)數(shù)據(jù)歸約技術(shù)的研究具有重要的意義。當(dāng)前已有的數(shù)據(jù)歸約方法多偏重于有監(jiān)督學(xué)習(xí)，而無(wú)監(jiān)督情形下歸約方法的研究還相對(duì)不夠豐富。鑒于這種情況，劉云霞編著的《數(shù)據(jù)預(yù)處理——數(shù)據(jù)歸約的統(tǒng)計(jì)方法研究及應(yīng)用》的重點(diǎn)內(nèi)容是嘗試對(duì)無(wú)監(jiān)督數(shù)據(jù)歸約的統(tǒng)計(jì)方法及其應(yīng)用進(jìn)行研究。
在《數(shù)據(jù)預(yù)處理——數(shù)據(jù)歸約的統(tǒng)計(jì)方法研究及應(yīng)用》第一章中，首先闡述了選題的研究背景和研究意義。之后，在概述相關(guān)背景知識(shí)和總結(jié)國(guó)內(nèi)外數(shù)據(jù)歸約研究方法現(xiàn)狀的基礎(chǔ)上，明確了本書(shū)的研究?jī)?nèi)容及創(chuàng)新之處。
數(shù)據(jù)歸約兩項(xiàng)重要的基礎(chǔ)工作——缺失值填補(bǔ)和異常值探測(cè)是第二章探討的內(nèi)容。在本章，根據(jù)對(duì)統(tǒng)計(jì)學(xué)中常用的各種缺失值填補(bǔ)和異常值探測(cè)方法的分析，總結(jié)出了一些適合數(shù)據(jù)挖掘使用的方法。此外，通過(guò)將幾種異常值探測(cè)方法應(yīng)用在某地區(qū)移動(dòng)通信用戶(hù)繳費(fèi)數(shù)據(jù)庫(kù)上，對(duì)手機(jī)用戶(hù)的消費(fèi)行為進(jìn)行了實(shí)證分析。
數(shù)據(jù)歸約包括元組的歸約和屬性的歸約。本書(shū)在第三章探討了元組歸約的兩種主要方法——連續(xù)屬性離散化和概念分層。在對(duì)當(dāng)前的離散化方法和概念分層中面向?qū)傩詺w納方法綜述的基礎(chǔ)上，提出了兩種從獨(dú)立性角度考慮的連續(xù)屬性離散化方法，分別是基于可辨識(shí)矩陣的離散化方法和基于似然比假設(shè)檢驗(yàn)的離散化方法。并通過(guò)在Iris樣本集上對(duì)這兩種方法進(jìn)行模擬，驗(yàn)證了它們的有效性。
屬性重要性排序以及屬性的提取和屬性子集的選擇是屬性歸約的兩類(lèi)方法。本書(shū)在第四章探討了屬性重要性的排序問(wèn)題。數(shù)據(jù)挖掘中目前常見(jiàn)的排序問(wèn)題是有監(jiān)督屬性的排序，本章首先對(duì)它們作了介紹和比較。然后在無(wú)監(jiān)督屬性重要性的排序方面，提出了單向有序列聯(lián)資料的屬性排序方法——改進(jìn)秩和法和基于因子分析的無(wú)監(jiān)督屬性排序方法，這兩種方法分別在一份調(diào)查問(wèn)卷的列聯(lián)資料和全國(guó)居民人均消費(fèi)支出樣本集的模擬中，取得了較為滿(mǎn)意的結(jié)果。
第五章探討的是屬性的提取和屬性子集的選擇問(wèn)題。首先對(duì)目前在數(shù)據(jù)挖掘中用于屬性線(xiàn)性提取的幾種統(tǒng)計(jì)學(xué)和其他學(xué)科的方法作了介紹和評(píng)價(jià)。然后是本章的重點(diǎn)內(nèi)容——屬性子集的選擇，在對(duì)屬性子集選擇的基本知識(shí)及目前已有的研究成果詳細(xì)闡述和分析之后，提出了逐步向前的無(wú)監(jiān)督屬性選擇方法，并通過(guò)實(shí)例驗(yàn)證了該方法的有效性。
第六章對(duì)全書(shū)的主要工作進(jìn)行了總結(jié)，并指出了有待進(jìn)一步改進(jìn)和完善的地方。
本書(shū)的創(chuàng)新之處主要有以下四個(gè)方面：
（1）提出了分別基于可辨識(shí)矩陣和基于似然比假設(shè)檢驗(yàn)的兩種連續(xù)屬性離散化方法。
（2）提出了單向有序列聯(lián)資料屬性排序的方法——改進(jìn)秩和法。
（3）提出了基于因子分析的無(wú)監(jiān)督屬性重要性的排序方法。
（4）提出了逐步向前的無(wú)監(jiān)督屬性選擇方法。

書(shū)籍目錄

摘要
第一章 緒論
 第一節(jié) 選題的研究背景和研究意義
 第二節(jié) 相關(guān)背景知識(shí)
 一、數(shù)據(jù)挖掘的發(fā)展概況
 二、數(shù)據(jù)歸約的主要內(nèi)容
 三、數(shù)據(jù)歸約的重要作用
 第三節(jié) 國(guó)內(nèi)外研究現(xiàn)狀
 一、屬性離散化方法研究的現(xiàn)狀
 二、屬性排序和屬性子集選擇方法研究的現(xiàn)狀
 第四節(jié) 本書(shū)的研究?jī)?nèi)容及創(chuàng)新點(diǎn)
 一、本書(shū)的研究?jī)?nèi)容和結(jié)構(gòu)
 二、本書(shū)的創(chuàng)新點(diǎn)
第二章 缺失值的填補(bǔ)與異常值的探測(cè)
 第一節(jié) 缺失值的填補(bǔ)
 一、單一填補(bǔ)法和多重填補(bǔ)法
 二、基于距離的填補(bǔ)方法
 三、貝葉斯填補(bǔ)方法
 第二節(jié) 異常值的探測(cè)
 一、異常值及形成原因
 二、異常值的探測(cè)方法
 三、異常值探測(cè)的步驟及應(yīng)用
 第三節(jié) 移動(dòng)通訊用戶(hù)消費(fèi)行為的分析
 一、單個(gè)屬性異常值探測(cè)的應(yīng)用及分析
 二、多個(gè)屬性的異常值探測(cè)方法的應(yīng)用及分析
第三章 數(shù)據(jù)挖掘中元組的歸約
 第一節(jié) 面向?qū)傩詺w納
 一、面向?qū)傩詺w納
 二、面向?qū)傩詺w納的步驟
 三、面向?qū)傩詺w納的算法
 第二節(jié) 連續(xù)屬性離散化方法及分類(lèi)
 一、離散化方法的分類(lèi)
 二、典型離散化的過(guò)程及結(jié)果評(píng)價(jià)
 三、相關(guān)的離散化方法
 第三節(jié) 基于可辨識(shí)矩陣的連續(xù)屬性離散化方法
 一、基于可辨識(shí)矩陣離散化方法的基本思路
 二、基于可辨識(shí)矩陣離散化方法的框架
 三、基于可辨識(shí)矩陣離散化方法的統(tǒng)計(jì)模擬
 第四節(jié) 基于似然比假設(shè)檢驗(yàn)的連續(xù)屬性離散化方法
 一、基于似然比假設(shè)檢驗(yàn)的離散化方法
 二、基于似然比假設(shè)檢驗(yàn)離散化方法的步驟
 三、基于似然比假設(shè)檢驗(yàn)離散化方法的驗(yàn)證
 四、兩種離散化方法結(jié)果的比較
第四章 屬性重要性的排序
 第一節(jié) 有監(jiān)督屬性重要性的排序
 一、粗糙集理論中屬性重要性的排序方法
 二、信息論和決策樹(shù)中屬性重要性的排序方
 三、神經(jīng)網(wǎng)絡(luò)中屬性重要性的排序方法
 四、三種方法的比較
 第二節(jié) 單向有序列聯(lián)資料的屬性重要性的排序
 一、單向有序列聯(lián)表
 二、以秩效應(yīng)為標(biāo)準(zhǔn)的方法
 三、改進(jìn)秩和法
 四、改進(jìn)秩和法對(duì)一份調(diào)查問(wèn)卷的分析
 五、以秩效應(yīng)為標(biāo)準(zhǔn)的方法和改進(jìn)秩和法的比較
 第三節(jié) 基于因子分析的無(wú)監(jiān)督屬性重要性的排序
 一、基于因子分析的屬性重要性排序方法
 二、基于因子分析的屬性重要性排序方法的步驟
 三、基于因子分析排序方法的框架
 四、基于因子分析屬性重要性排序方法的驗(yàn)證
 五、值得注意的問(wèn)題和局限性
第五章 屬性的提取與屬性子集的選擇
 第一節(jié) 屬性的提取
 一、小波變換
 二、投影尋蹤
 三、多維標(biāo)度
 四、多元統(tǒng)計(jì)分析方法
 五、幾種屬性提取方法的比較
 第二節(jié) 屬性子集的選擇
 一、屬性子集選擇方法的兩個(gè)組成部分
 二、屬性子集選擇方法的兩種模式
 三、基于各學(xué)科知識(shí)的屬性子集選擇方法
 四、關(guān)于模式識(shí)別中基于距離的評(píng)價(jià)函數(shù)的思考
 第三節(jié) 逐步向前無(wú)監(jiān)督屬性子集的選擇方法
 一、逐步選擇方法的不足
 二、逐步向前無(wú)監(jiān)督屬性子集選擇方法的思路
 三、逐步向前無(wú)監(jiān)督屬性子集選擇方法的基本框架
 四、統(tǒng)計(jì)模擬及方法驗(yàn)證
 五、逐步向前無(wú)監(jiān)督屬性子集選擇方法的合理性和局限性
第六章 全書(shū)的總結(jié)
 第一節(jié) 全書(shū)的主要工作
 第二節(jié) 尚需研究的問(wèn)題
參考文獻(xiàn)
后記
攻讀博士學(xué)位期間發(fā)表的論文

圖書(shū)封面

圖書(shū)標(biāo)簽Tags

無(wú)

評(píng)論、評(píng)分、閱讀與下載

---

    數(shù)據(jù)預(yù)處理 PDF格式下載

---