數(shù)據(jù)倉庫原理、設(shè)計與應用

信息技術(shù)的迅速發(fā)展和企業(yè)管理決策支持的迫切需要，在短短的幾年內(nèi)將數(shù)據(jù)倉庫（Data Warehouse）從純粹的理論研究迅速轉(zhuǎn)化為決策支持領(lǐng)域中一種實用性極強的技術(shù)。數(shù)據(jù)倉庫的發(fā)展將我們從簡單的批處理、聯(lián)機事務(wù)處理的信息處理時代帶入了聯(lián)機分析處理、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的信息分析時代。這一發(fā)展過程具有內(nèi)在的動力和外在的推力。企業(yè)在早期的信息化進程中所構(gòu)建的聯(lián)機事務(wù)處理系統(tǒng)為企業(yè)業(yè)務(wù)快速、準確地處理提供了基本條件，同時為企業(yè)積累了大量有價值的業(yè)務(wù)信息。但是這些處理只能支持企業(yè)的日常業(yè)務(wù)工作，而對企業(yè)的經(jīng)營管理決策卻很少能夠提供支持。許多企業(yè)的經(jīng)營管理人員在日趨嚴重的市場競爭壓力下，開始著手建立數(shù)據(jù)存儲--數(shù)據(jù)集市用于經(jīng)營管理決策，以應對日益嚴酷的市場競爭。這些因素最終促進了數(shù)據(jù)倉庫的發(fā)展與應用。數(shù)據(jù)倉庫所包含的數(shù)據(jù)倉庫技術(shù)、聯(lián)機分析處理和數(shù)據(jù)挖掘技術(shù)不僅體現(xiàn)了當今世界上最先進的IT技術(shù)，而且還提供了能夠?qū)ζ髽I(yè)管理決策提供實際支持的系統(tǒng)。

數(shù)據(jù)倉庫的建立不僅需要有各種建設(shè)工具，而且還需要有相應的數(shù)據(jù)支持，數(shù)據(jù)倉庫的建設(shè)必須基于比較完善的信息化構(gòu)架，只有在一定的信息化基礎(chǔ)上，才能進行數(shù)據(jù)倉庫的建設(shè)。數(shù)據(jù)倉庫的建設(shè)是企業(yè)經(jīng)營管理決策與信息化的結(jié)合過程，只有依照企業(yè)管理決策的實際需要，才能建設(shè)一個支持企業(yè)管理決策的數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的建設(shè)是各種先進的信息處理技術(shù)與企業(yè)管理決策結(jié)合的過程。只有將OLAP技術(shù)、數(shù)據(jù)挖掘技術(shù)與數(shù)據(jù)倉庫中龐大的數(shù)據(jù)相結(jié)合，與企業(yè)先進的管理決策方法相結(jié)合，才能使數(shù)據(jù)倉庫在企業(yè)的經(jīng)營管理決策中發(fā)揮巨大的作用。數(shù)據(jù)倉庫的建設(shè)成功不僅取決于技術(shù)人員對數(shù)據(jù)倉庫開發(fā)方法與開發(fā)工具的熟練應用，更取決于數(shù)據(jù)倉庫能否得到熟練應用。可以毫不夸張地說，數(shù)據(jù)倉庫的成功關(guān)鍵在于用戶的應用情況，而不是數(shù)據(jù)倉庫開發(fā)技術(shù)的熟練應用。因此，本書在介紹了數(shù)據(jù)倉庫的開發(fā)模型和開發(fā)方法后，還用相當?shù)钠�幅介紹了數(shù)據(jù)倉庫的管理與應用。其中包含了大量的數(shù)據(jù)倉庫應用情況與應用案例，使讀者可以了解如何利用數(shù)據(jù)倉庫來降低企業(yè)的運營成本，建立更好的客戶關(guān)系管理，提高產(chǎn)品的質(zhì)量。

為使讀者能夠清楚地了解數(shù)據(jù)倉庫的開發(fā)，本書介紹了數(shù)據(jù)倉庫開發(fā)應用的生命周期。數(shù)據(jù)倉庫的整個開發(fā)過程從數(shù)據(jù)倉庫規(guī)劃分析到設(shè)計實施，終結(jié)于應用管理，使讀者可以了解到數(shù)據(jù)倉庫開發(fā)應用的完整周期，以及如何處理在不同階段中所遇到的問題。為使讀者能夠通過實際的數(shù)據(jù)倉庫開發(fā)應用，以加深對數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的了解，本書還介紹了超市數(shù)據(jù)倉庫規(guī)劃、設(shè)計和實施實例，并在其中穿插介紹了SQL Server 2000在數(shù)據(jù)倉庫開發(fā)應用中的實際應用，目的在于使讀者能夠更深入地了解數(shù)據(jù)倉庫、聯(lián)機分析處理與數(shù)據(jù)挖掘技術(shù)。

全書共分9章。第1章主要介紹數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的產(chǎn)生背景、發(fā)展、總體結(jié)構(gòu)和使用技術(shù)；第2章從理論上介紹了數(shù)據(jù)倉庫的開發(fā)模型--概念模型、邏輯模型、物理模型、元數(shù)據(jù)模型和數(shù)據(jù)粒度及聚集模型；第3章敘述了數(shù)據(jù)倉庫開發(fā)應用的完整周期，涉及到數(shù)據(jù)倉庫的開發(fā)規(guī)劃、需求分析、設(shè)計、實施、使用及支持等；第4章闡述了聯(lián)機分析技術(shù)（OLAP）的基本概念、結(jié)構(gòu)、實施以及OLAP工具評價標準；第5章詳細介紹了傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)--統(tǒng)計分析類數(shù)據(jù)挖掘技術(shù)、工具、應用及應用中的問題；第6章介紹了現(xiàn)代數(shù)據(jù)挖掘技術(shù)與發(fā)展，其中包含了規(guī)則類、神經(jīng)網(wǎng)絡(luò)類、遺傳算法類和粗糙集類型等現(xiàn)代挖掘技術(shù)，同時還介紹了知識發(fā)現(xiàn)工具與應用，以及文本挖掘、Web挖掘、可視化數(shù)據(jù)挖掘、空間數(shù)據(jù)挖掘和分布式數(shù)據(jù)挖掘等數(shù)據(jù)挖掘技術(shù)的未來發(fā)展；第7章從數(shù)據(jù)倉庫的用戶、應用案例、運行技術(shù)管理、元數(shù)據(jù)管理、應用中的法律問題以及成本與效益分析等角度說明了數(shù)據(jù)倉庫的應用和管理中的問題；第8章和第9章分別介紹了數(shù)據(jù)倉庫的開發(fā)和應用實例，以及SQL Server 2000在數(shù)據(jù)倉庫開發(fā)中的具體應用。

參加本書研討并提供實例資料的還有陳京民、朱慧云、杜冬軍、俞強、吳受珠、祁泌午、王武平、葛福江、徐航、閆朝陽、李暉、沈宗軍、劉宇英等。另外，孫春亮為本書的順利出版做了大量的籌備和組織工作。在此對他們的辛勤工作表示深深的謝意！

由于數(shù)據(jù)倉庫技術(shù)正處于日新月異的發(fā)展階段，加之編者水平有限，書中謬誤或疏漏之處在所難免，懇請廣大讀者不吝指教，歡迎聯(lián)系：

E_mail：cjm20020101@sina.com。

作 者

2004年2月

前言
第1章 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概述 1
1.1 數(shù)據(jù)倉庫的發(fā)展與展望 1
1.1.1 從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫 1
1.1.2 數(shù)據(jù)倉庫的定義與基本特性 3
1.1.3 數(shù)據(jù)倉庫的未來發(fā)展 7
1.2 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 8
1.2.1 數(shù)據(jù)倉庫的概念結(jié)構(gòu) 8
1.2.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu) 8
1.2.3 數(shù)據(jù)集市結(jié)構(gòu) 9
1.2.4 單一數(shù)據(jù)倉庫結(jié)構(gòu) 9
1.2.5 分布式數(shù)據(jù)倉庫結(jié)構(gòu) 10
1.3 數(shù)據(jù)倉庫的參照結(jié)構(gòu) 11
1.3.1 數(shù)據(jù)倉庫基本功能層 11
1.3.2 數(shù)據(jù)倉庫的管理層 18
1.3.3 數(shù)據(jù)倉庫的元數(shù)據(jù)管理層 19
1.3.4 數(shù)據(jù)倉庫的環(huán)境支持層 20
1.4 數(shù)據(jù)挖掘技術(shù)概述 21
1.4.1 數(shù)據(jù)挖掘的發(fā)展 21
1.4.2 數(shù)據(jù)挖掘的定義 22
1.5 數(shù)據(jù)挖掘技術(shù)與工具 24
1.5.1 常用的數(shù)據(jù)挖掘技術(shù) 24
1.5.2 常用數(shù)據(jù)挖掘工具 26
1.5.3 數(shù)據(jù)挖掘工具的評價標準 28
1.5.4 常用數(shù)據(jù)挖掘工具的選擇 29
1.6 數(shù)據(jù)挖掘的應用 30
1.6.1 數(shù)據(jù)挖掘與數(shù)據(jù)倉庫 30
1.6.2 數(shù)據(jù)挖掘過程 31
1.6.3 數(shù)據(jù)挖掘的用戶 35
第2章 數(shù)據(jù)倉庫開發(fā)模型 36
2.1 數(shù)據(jù)倉庫開發(fā)模型概述 36
2.2 數(shù)據(jù)倉庫概念模型 37
2.2.1 概念數(shù)據(jù)模型 37
2.2.2 規(guī)范的數(shù)據(jù)模型 40
2.2.3 星型模型 41
2.2.4 雪花模型 43
2.3 數(shù)據(jù)倉庫的邏輯模型 43
2.3.1 事實表模型設(shè)計 45
2.3.2 維模型設(shè)計 47
2.4 數(shù)據(jù)倉庫的物理模型 47
2.4.1 數(shù)據(jù)倉庫物理模型的存儲結(jié)構(gòu) 47
2.4.2 數(shù)據(jù)倉庫物理模型的索引構(gòu)建 48
2.4.3 數(shù)據(jù)倉庫物理模型的優(yōu)化問題 52
2.5 數(shù)據(jù)倉庫的元數(shù)據(jù)模型 53
2.5.1 元數(shù)據(jù)的類型與組成 53
2.5.2 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 55
2.5.3 元數(shù)據(jù)的收集 58
2.6 數(shù)據(jù)倉庫的粒度和聚集模型 59
2.6.1 數(shù)據(jù)粒度的劃分 60
2.6.2 確定粒度的級別 61
2.6.3 數(shù)據(jù)倉庫的聚集模型確定 62
2.6.4 聚集模型的處理 62
2.6.5 聚集模型的管理 63
第3章 數(shù)據(jù)倉庫開發(fā)應用過程 64
3.1 數(shù)據(jù)倉庫開發(fā)應用的特點 64
3.1.1 數(shù)據(jù)倉庫開發(fā)應用的階段性 64
3.1.2 數(shù)據(jù)倉庫的螺旋式開發(fā)方法 65
3.1.3 數(shù)據(jù)倉庫的開發(fā)特點 66
3.2 數(shù)據(jù)倉庫的規(guī)劃 67
3.2.1 選擇數(shù)據(jù)倉庫的實現(xiàn)策略 67
3.2.2 確定數(shù)據(jù)倉庫的開發(fā)目標和實現(xiàn)范圍 68
3.2.3 數(shù)據(jù)倉庫的結(jié)構(gòu) 70
3.2.4 數(shù)據(jù)倉庫使用方案和項目規(guī)劃預算 71
3.3 數(shù)據(jù)倉庫的概念模型設(shè)計 72
3.3.1 概念模型的需求調(diào)查 72
3.3.2 概念模型的定義 73
3.3.3 概念模型的分析 76
3.3.4 概念模型的設(shè)計 77
3.3.5 概念模型文檔與評審 79
3.4 數(shù)據(jù)倉庫的邏輯模型設(shè)計 80
3.4.1 分析主題域 81
3.4.2 粒度層次和聚集的確定 82
3.4.3 確定數(shù)據(jù)分割策略 82
3.4.4 關(guān)系模型定義 83
3.4.5 數(shù)據(jù)倉庫的實體定義 83
3.4.6 數(shù)據(jù)倉庫的數(shù)據(jù)抽取模型 84
3.4.7 數(shù)據(jù)倉庫元數(shù)據(jù)模型的建立與應用 89
3.4.8 邏輯模型的評審 90
3.5 數(shù)據(jù)倉庫的物理模型設(shè)計 91
3.5.1 數(shù)據(jù)倉庫設(shè)計的規(guī)范 91
3.5.2 確定數(shù)據(jù)結(jié)構(gòu)的類型 92
3.5.3 數(shù)據(jù)倉庫索引的創(chuàng)建 93
3.5.4 確定數(shù)據(jù)的存放位置 94
3.5.5 確定存儲分配 94
3.5.6 數(shù)據(jù)倉庫物理模型的評審 95
3.6 數(shù)據(jù)倉庫的實施 96
3.6.1 數(shù)據(jù)倉庫與業(yè)務(wù)處理系統(tǒng)接口的設(shè)計 97
3.6.2 數(shù)據(jù)倉庫的創(chuàng)建 97
3.6.3 數(shù)據(jù)倉庫的數(shù)據(jù)加載、復制與發(fā)行 98
3.6.4 數(shù)據(jù)倉庫的中間件設(shè)計 99
3.6.5 數(shù)據(jù)倉庫的測試 99
3.7 數(shù)據(jù)倉庫的應用、支持和增強 100
3.7.1 數(shù)據(jù)倉庫的用戶培訓及支持 100
3.7.2 數(shù)據(jù)倉庫的使用方式 101
3.7.3 數(shù)據(jù)倉庫使用中的數(shù)據(jù)刷新 102
3.7.4 數(shù)據(jù)倉庫的增強 103
第4章 OLAP技術(shù) 105
4.1 OLAP技術(shù)概述 105
4.1.1 OLAP的發(fā)展 105
4.1.2 OLAP的特性 105
4.2 OLAP與多維分析 106
4.2.1 多維基本概念 106
4.2.2 多維分析 109
4.2.3 維的層次關(guān)系 111
4.2.4 維的類關(guān)系 111
4.2.5 OLAP與數(shù)據(jù)倉庫的關(guān)系 112
4.3 OLAP的實施 113
4.4 多維OLAP與關(guān)系OLAP 114
4.4.1 多維數(shù)據(jù)庫 114
4.4.2 多維數(shù)據(jù)庫的數(shù)據(jù)存儲 116
4.4.3 多維數(shù)據(jù)庫與數(shù)據(jù)倉庫 116
4.4.4 MOLAP的創(chuàng)建與功能 117
4.4.5 ROLAP實現(xiàn)的三個規(guī)則 118
4.4.6 ROLAP的多維表示方法 119
4.4.7 ROLAP的創(chuàng)建與功能 121
4.5 OLAP技術(shù)評價 122
4.5.1 MOLAP與ROLAP的比較 122
4.5.2 OLAP的衡量標準 124
4.5.3 OLAP服務(wù)器和工具的評價標準 126
第5章 傳統(tǒng)數(shù)據(jù)挖掘技術(shù) 128
5.1 傳統(tǒng)的統(tǒng)計分析類數(shù)據(jù)挖掘技術(shù) 128
5.1.1 統(tǒng)計與統(tǒng)計類數(shù)據(jù)挖掘技術(shù) 128
5.1.2 數(shù)據(jù)的聚集與度量技術(shù) 129
5.1.3 柱狀圖數(shù)據(jù)挖掘技術(shù) 129
5.1.4 線性回歸數(shù)據(jù)挖掘技術(shù) 131
5.1.5 非線性回歸數(shù)據(jù)挖掘技術(shù) 133
5.1.6 聚類數(shù)據(jù)挖掘技術(shù) 133
5.1.7 最近鄰數(shù)據(jù)挖掘技術(shù) 140
5.2 統(tǒng)計分析類工具 141
5.2.1 統(tǒng)計類數(shù)據(jù)挖掘工具 141
5.2.2 統(tǒng)計類數(shù)據(jù)挖掘的商業(yè)分析 142
5.2.3 統(tǒng)計類數(shù)據(jù)挖掘工具的功能 142
5.2.4 統(tǒng)計類數(shù)據(jù)挖掘工具??SPSS 143
5.3 統(tǒng)計分析類工具的應用 146
5.3.1 趨勢分析 146
5.3.2 時序分析 147
5.3.3 周期分析 147
5.4 統(tǒng)計分析類工具應用的問題 148
5.4.1 統(tǒng)計類數(shù)據(jù)挖掘的預處理問題 148
5.4.2 統(tǒng)計分析應遵循的基本原則 150
5.4.3 統(tǒng)計分析的步驟 151
5.4.4 統(tǒng)計類數(shù)據(jù)挖掘的性能問題 151
第6章 現(xiàn)代數(shù)據(jù)挖掘技術(shù)與發(fā)展 153
6.1 知識挖掘系統(tǒng)的體系結(jié)構(gòu) 153
6.1.1 知識發(fā)現(xiàn)的定義 153
6.1.2 知識發(fā)現(xiàn)系統(tǒng)的結(jié)構(gòu) 154
6.2 現(xiàn)代挖掘技術(shù)及應用 156
6.2.1 規(guī)則型現(xiàn)代挖掘技術(shù)及應用 156
6.2.2 神經(jīng)網(wǎng)絡(luò)型現(xiàn)代挖掘技術(shù) 161
6.2.3 遺傳算法型現(xiàn)代挖掘技術(shù) 166
6.2.4 粗糙集型現(xiàn)代挖掘技術(shù) 170
6.2.5 決策樹型現(xiàn)代挖掘技術(shù) 172
6.3 知識發(fā)現(xiàn)的工具與應用 175
6.3.1 知識挖掘工具的系統(tǒng)結(jié)構(gòu) 175
6.3.2 知識挖掘工具運用中的問題 177
6.3.3 知識挖掘的價值 179
6.3.4 現(xiàn)代數(shù)據(jù)挖掘工具簡介 180
6.4 數(shù)據(jù)挖掘技術(shù)的發(fā)展 181
6.4.1 文本挖掘 181
6.4.2 Web挖掘技術(shù) 183
6.4.3 可視化數(shù)據(jù)挖掘技術(shù) 186
6.4.4 空間數(shù)據(jù)挖掘 187
6.4.5 分布式數(shù)據(jù)挖掘 190
第7章 數(shù)據(jù)倉庫的應用與管理 193
7.1 數(shù)據(jù)倉庫的用戶 193
7.1.1 數(shù)據(jù)倉庫的用戶??信息的使用者與知識的挖掘者 193
7.1.2 信息使用者的數(shù)據(jù)倉庫使用方式 193
7.1.3 知識挖掘者的數(shù)據(jù)倉庫使用方式 194
7.2 數(shù)據(jù)倉庫應用案例 195
7.2.1 分層決策體系 195
7.2.2 數(shù)據(jù)抽樣分析 197
7.2.3 發(fā)揮歷史數(shù)據(jù)的經(jīng)濟效益 198
7.2.4 回扣分析 199
7.2.5 客戶關(guān)系管理 199
7.3 數(shù)據(jù)倉庫的運行技術(shù)管理 200
7.3.1 數(shù)據(jù)加載的一些問題 200
7.3.2 故障恢復管理 201
7.3.3 訪問控制與安全管理 201
7.3.4 數(shù)據(jù)增長的管理 202
7.4 數(shù)據(jù)倉庫的元數(shù)據(jù)管理 203
7.4.1 元數(shù)據(jù)的存儲、管理與維護 203
7.4.2 元數(shù)據(jù)的用戶與使用方法 204
7.4.3 元數(shù)據(jù)管理模型 206
7.5 數(shù)據(jù)倉庫應用中的法律問題 208
7.5.1 數(shù)據(jù)的隱私權(quán)問題 209
7.5.2 數(shù)據(jù)隱私權(quán)的處理 209
7.6 數(shù)據(jù)倉庫的成本與效益分析 211
7.6.1 數(shù)據(jù)倉庫的投資回報的定量分析 211
7.6.2 數(shù)據(jù)倉庫的投資回報的定性分析 212
第8章 數(shù)據(jù)倉庫開發(fā)實例 214
8.1 超市銷售數(shù)據(jù)倉庫的規(guī)劃與分析 214
8.1.1 超市銷售數(shù)據(jù)倉庫的需求分析 214
8.1.2 超市銷售數(shù)據(jù)倉庫E-R模型的構(gòu)造 215
8.1.3 超市數(shù)據(jù)倉庫事實表模型 216
8.1.4 超市數(shù)據(jù)倉庫維表模型設(shè)計 218
8.1.5 超市數(shù)據(jù)倉庫模型的關(guān)鍵字設(shè)計 223
8.1.6 超市數(shù)據(jù)倉庫的元數(shù)據(jù)設(shè)計 225
8.2 數(shù)據(jù)倉庫開發(fā)工具簡介 228
8.2.1 數(shù)據(jù)倉庫開發(fā)工具 228
8.2.2 SQL Server數(shù)據(jù)倉庫開發(fā)應用工具 230
8.3 SQL Server的數(shù)據(jù)倉庫創(chuàng)建 232
8.3.1 創(chuàng)建數(shù)據(jù)庫 233
8.3.2 創(chuàng)建表 234
8.4 SQL Server數(shù)據(jù)倉庫事實表與多維數(shù)據(jù)集的建立 235
8.4.1 Analysis Manager數(shù)據(jù)庫的創(chuàng)建與數(shù)據(jù)源確定 235
8.4.2 SQL Server數(shù)據(jù)倉庫的維創(chuàng)建 239
8.4.3 SQL Server的多維數(shù)據(jù)集創(chuàng)建 246
第9章 數(shù)據(jù)倉庫應用實例 253
9.1 數(shù)據(jù)倉庫的數(shù)據(jù)加載與鉆取 253
9.1.1 數(shù)據(jù)倉庫的數(shù)據(jù)加載 253
9.1.2 超市數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)加載 256
9.1.3 多維數(shù)據(jù)集的更新 262
9.1.4 數(shù)據(jù)倉庫的鉆取訪問 267
9.1.5 數(shù)據(jù)倉庫的多維表達式MDX應用 270
9.2 數(shù)據(jù)挖掘模型的設(shè)計 272
9.2.1 數(shù)據(jù)挖掘?qū)ο蟮姆治?272
9.2.2 數(shù)據(jù)挖掘模型與相關(guān)數(shù)據(jù)的準備 273
9.2.3 數(shù)據(jù)挖掘模型的應用 276
9.3 SQL Server中的數(shù)據(jù)挖掘工具 276
9.3.1 決策類數(shù)據(jù)挖掘工具的應用 277
9.3.2 聚類分析數(shù)據(jù)挖掘工具的應用 282
9.4 數(shù)據(jù)倉庫客戶端界面的設(shè)計 287
9.4.1 客戶端界面展現(xiàn)內(nèi)容的設(shè)計 287
9.4.2 客戶端界面展現(xiàn)工具的選擇 288
9.4.3 Excel展現(xiàn)界面的實現(xiàn) 289
參考文獻 294

1. 數(shù)據(jù)挖掘算法—基于C++及CUDA C [蒂莫西•馬斯特斯（Timothy]
2. SQL Server數(shù)據(jù)挖掘與商業(yè)智能基礎(chǔ)及案例實戰(zhàn) [謝邦昌]
3. 歷史災害數(shù)據(jù)挖掘與建模 [胡明生]
4. 試卷質(zhì)量統(tǒng)計分析與數(shù)據(jù)挖掘原理、設(shè)計與實現(xiàn) [張春生 著]
5. 數(shù)據(jù)挖掘技術(shù)在生物信息學中的應用 [裴志利 著]
6. SQL Server 2008 R2數(shù)據(jù)挖掘與商業(yè)智能基礎(chǔ)及高級案例實戰(zhàn) [謝邦昌 鄭宇庭 蘇志雄 著]
7. 數(shù)據(jù)挖掘技術(shù) [譚建豪 等編著]
8. 協(xié)同演化算法及其在數(shù)據(jù)挖掘中的應用 [董紅斌 賀志 著]