大數(shù)據(jù)導(dǎo)論

內(nèi)容實(shí)用——理論與實(shí)踐結(jié)合，重點(diǎn)突出應(yīng)用

體系完善——構(gòu)建完整的大數(shù)據(jù)專業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對標(biāo)行業(yè)標(biāo)準(zhǔn)

資源豐富——微課、課件、教案、源碼、答案

隨著物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的興起，全球數(shù)據(jù)呈爆炸式增長，各行各業(yè)都在經(jīng)歷大數(shù)據(jù)帶來的革命，大數(shù)據(jù)時(shí)代已經(jīng)到來。大數(shù)據(jù)具有體量巨大、速度極快、類型眾多、價(jià)值巨大的特點(diǎn)，對數(shù)據(jù)從產(chǎn)生、存儲、分析到利用提出了前所未有的新要求。為了響應(yīng)社會發(fā)展需要，教育部于2016年開始在高等院校正式開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)，本書正是為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的“大數(shù)據(jù)導(dǎo)論”課程編寫的教材。

本書旨在讓大學(xué)新生對該專業(yè)相關(guān)的基本知識、典型技術(shù)、具體應(yīng)用等有一個(gè)相對全面而直觀的了解，在入門性的學(xué)習(xí)過程中提高對專業(yè)的認(rèn)識，激發(fā)學(xué)生的專業(yè)學(xué)習(xí)興趣。本書注重知識結(jié)構(gòu)的基礎(chǔ)性與完整性，確保技術(shù)內(nèi)容的通用性、普適性與先進(jìn)性，遵循教育規(guī)律，加強(qiáng)能力培養(yǎng)，同時(shí)精選行業(yè)應(yīng)用案例，開闊學(xué)生視野，啟發(fā)創(chuàng)新思維。本書在寫作思路和內(nèi)容編排上具有以下幾個(gè)方面的特色。

（1）知識體系完整。本書包括大數(shù)據(jù)采集、預(yù)處理、存儲管理、挖掘分析以及可視化等處理流程中的基本理論、方法和關(guān)鍵技術(shù)，涵蓋數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)比較完整的理論體系，脈絡(luò)清晰，知識完整。

（2）理論與案例結(jié)合。本書在各部分知識的講解中，融入了大量入門性的教學(xué)案例，做到深入淺出、圖文并茂，幫助讀者對大數(shù)據(jù)知識和技術(shù)進(jìn)行深入理解，體現(xiàn)專業(yè)認(rèn)知的引導(dǎo)性。

（3）注重實(shí)踐應(yīng)用。本書在各章節(jié)中配置了運(yùn)用大數(shù)據(jù)工具解決問題的綜合實(shí)踐案例，通過實(shí)踐內(nèi)容的細(xì)致講解和輔助的視頻，能夠幫助讀者完成動手實(shí)踐的環(huán)節(jié)，加深讀者對專業(yè)知識的理解。

（4）適用范圍廣。本書是為高等院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的“大數(shù)據(jù)導(dǎo)論”課程編寫的教材，可作為高職高專大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的教材，也可作為大學(xué)非計(jì)算機(jī)專業(yè)的本科生或研究生的通識課程教學(xué)用書以及大數(shù)據(jù)愛好者的科普讀物。

本書共7章：數(shù)據(jù)與大數(shù)據(jù)時(shí)代、大數(shù)據(jù)獲取和預(yù)處理、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)挖掘分析、大數(shù)據(jù)可視化、大數(shù)據(jù)處理技術(shù)和行業(yè)大數(shù)據(jù)應(yīng)用。第1章介紹大數(shù)據(jù)的發(fā)展歷程、大數(shù)據(jù)思維、數(shù)據(jù)科學(xué)的內(nèi)涵以及大數(shù)據(jù)處理流程等；第2章至第6章以數(shù)據(jù)獲取和預(yù)處理、數(shù)據(jù)存儲管理、數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化的大數(shù)據(jù)處理流程為主線，對大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行講解，進(jìn)一步闡述當(dāng)前典型大數(shù)據(jù)處理平臺中的技術(shù)和方法；第7章介紹行業(yè)大數(shù)據(jù)的典型應(yīng)用案例，讓讀者了解大數(shù)據(jù)在農(nóng)業(yè)、教育、社交、旅游、交通、金融等多個(gè)行業(yè)中應(yīng)用帶來的巨大價(jià)值。

本書由苑迎春任主編，徐靜、路小英、王超、董素芬任副主編，其中第1章由苑迎春、宋宇斐編寫，第2章由程芳、王超編寫，第3章由王超編寫，第4章由路小英編寫，第5章由董素芬、徐靜編寫，第6章由沈紅巖、苑迎春編寫，第7章由徐靜、宋宇斐、孫潔麗、賀平編寫，全書統(tǒng)稿工作由苑迎春完成。

本書參考了大量圖書資料，也參考了大量網(wǎng)絡(luò)資源，在編寫過程中，河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院的研究生潘飛、何晨等做了大量輔助性工作，在此一并向他們表示衷心感謝。由于編者水平有限，加之時(shí)間倉促，書中難免存在錯(cuò)誤和不妥之處，懇請讀者批評指正。

編　者

2020年10月

第1章　數(shù)據(jù)與大數(shù)據(jù)時(shí)代 1
1.1　從數(shù)據(jù)到大數(shù)據(jù) 2
1.1.1　數(shù)據(jù)及其作用 2
1.1.2　大數(shù)據(jù)時(shí)代的到來 3
1.2　大數(shù)據(jù)概念 3
1.2.1　大數(shù)據(jù)定義 3
1.2.2　大數(shù)據(jù)結(jié)構(gòu) 4
1.2.3　大數(shù)據(jù)特征 5
1.3　大數(shù)據(jù)思維 6
1.3.1　全樣思維 6
1.3.2　容錯(cuò)思維 7
1.3.3　相關(guān)思維 8
1.4　數(shù)據(jù)科學(xué)的內(nèi)涵 9
1.4.1　科學(xué)研究的第四范式 9
1.4.2　數(shù)據(jù)科學(xué)的內(nèi)涵 10
1.4.3　數(shù)據(jù)科學(xué)對其他學(xué)科的影響 11
1.5　大數(shù)據(jù)處理技術(shù) 12
1.5.1　大數(shù)據(jù)處理流程 12
1.5.2　大數(shù)據(jù)計(jì)算模式 14
1.6　大數(shù)據(jù)應(yīng)用 16
1.6.1　大數(shù)據(jù)的行業(yè)應(yīng)用 16
1.6.2　大數(shù)據(jù)的商用途徑 20
習(xí)題與思考 22
第2章　大數(shù)據(jù)獲取和預(yù)處理 23
2.1　概述 24
2.1.1　數(shù)據(jù)的來源 24
2.1.2　數(shù)據(jù)的質(zhì)量 25
2.1.3　數(shù)據(jù)預(yù)處理 26
2.2　大數(shù)據(jù)獲取方法 27
2.2.1　分布式日志采集 27
2.2.2　網(wǎng)絡(luò)爬蟲 34
2.2.3　其他獲取方法 44
2.3　大數(shù)據(jù)預(yù)處理技術(shù) 46
2.3.1　數(shù)據(jù)清洗 46
2.3.2　數(shù)據(jù)集成 49
2.3.3　數(shù)據(jù)歸約 51
2.3.4　數(shù)據(jù)變換 55
2.3.5　Kettle數(shù)據(jù)轉(zhuǎn)換實(shí)例 58
習(xí)題與思考 66
第3章　大數(shù)據(jù)存儲與管理 68
3.1　概述 69
3.1.1　數(shù)據(jù)庫管理技術(shù) 69
3.1.2　數(shù)據(jù)倉庫管理技術(shù) 70
3.1.3　大數(shù)據(jù)存儲管理技術(shù) 72
3.2　關(guān)系數(shù)據(jù)庫存儲與查詢 74
3.2.1　關(guān)系數(shù)據(jù)模型 74
3.2.2　關(guān)系數(shù)據(jù)庫管理系統(tǒng) 76
3.2.3　SQL結(jié)構(gòu)化查詢語言 77
3.3　大數(shù)據(jù)存儲與查詢 80
3.3.1　分布式文件系統(tǒng) 80
3.3.2　NoSQL數(shù)據(jù)庫 81
3.3.3　NewSQL數(shù)據(jù)庫 90
3.3.4　云數(shù)據(jù)庫 91
3.3.5　大數(shù)據(jù)SQL查詢引擎 93
習(xí)題與思考 96
第4章　大數(shù)據(jù)挖掘分析 98
4.1　概述 99
4.1.1　數(shù)據(jù)挖掘的概念 99
4.1.2　數(shù)據(jù)挖掘的流程 99
4.1.3　數(shù)據(jù)挖掘常用方法 100
4.1.4　數(shù)據(jù)挖掘常用工具 100
4.2　數(shù)據(jù)統(tǒng)計(jì)分析 101
4.2.1　數(shù)據(jù)的集中趨勢 101
4.2.2　數(shù)據(jù)的離散程度 102
4.2.3　數(shù)據(jù)的相關(guān)性度量 103
4.3　數(shù)據(jù)挖掘方法 106
4.3.1　聚類分析 106
4.3.2　關(guān)聯(lián)分析 107
4.3.3　分類分析 111
4.3.4　回歸分析 116
4.4　數(shù)據(jù)分析應(yīng)用舉例 118
4.4.1　描述分析案例 118
4.4.2　相關(guān)分析案例 120
4.4.3　回歸分析案例 120
習(xí)題與思考 123
第5章　大數(shù)據(jù)可視化 125
5.1　概述 126
5.1.1　數(shù)據(jù)可視化的目標(biāo) 126
5.1.2　數(shù)據(jù)與可視化的關(guān)系 128
5.2　大數(shù)據(jù)可視化方法 129
5.2.1　統(tǒng)計(jì)數(shù)據(jù)可視化 130
5.2.2　關(guān)系數(shù)據(jù)可視化 132
5.2.3　時(shí)空數(shù)據(jù)可視化 133
5.2.4　文本數(shù)據(jù)可視化 134
5.3　可視化技術(shù)和工具 136
5.3.1　數(shù)據(jù)可視化工具 136
5.3.2　可視化編程語言 138
5.3.3　Web可視化技術(shù) 139
5.4　Excel數(shù)據(jù)可視化示例 140
5.4.1　對比—直方圖 140
5.4.2　趨勢—折線圖 142
5.4.3　占比—餅狀圖 144
5.4.4　分布—散點(diǎn)圖 147
5.4.5　多維數(shù)據(jù)—雷達(dá)圖 148
5.4.6　綜合應(yīng)用—動態(tài)看板 149
5.5　Tableau數(shù)據(jù)可視化示例 150
5.5.1　氣泡圖 150
5.5.2　文字云 152
5.5.3　盒須圖 153
5.5.4　地圖 155
習(xí)題與思考 155
第6章　大數(shù)據(jù)處理技術(shù) 158
6.1 概述 159
6.1.1　集中式與分布式計(jì)算架構(gòu) 159
6.1.2　大數(shù)據(jù)處理平臺架構(gòu) 161
6.1.3　典型的大數(shù)據(jù)計(jì)算平臺 162
6.2　Hadoop分布式計(jì)算平臺 164
6.2.1　Hadoop概述 164
6.2.2　Hadoop生態(tài)體系 166
6.2.3　Hadoop核心技術(shù) 171
6.3　Spark內(nèi)存計(jì)算架構(gòu) 178
6.3.1　Spark概述 178
6.3.2　Spark技術(shù)架構(gòu) 179
6.3.3　Spark核心技術(shù) 181
習(xí)題與思考 185
第7章　行業(yè)大數(shù)據(jù)應(yīng)用 187
7.1　農(nóng)業(yè)大數(shù)據(jù)應(yīng)用 188
7.1.1　概述 188
7.1.2　農(nóng)業(yè)大數(shù)據(jù)在智慧棉花系統(tǒng)中的應(yīng)用 189
7.1.3　農(nóng)業(yè)大數(shù)據(jù)助力奶牛數(shù)字化精細(xì)養(yǎng)殖 190
7.1.4　農(nóng)業(yè)大數(shù)據(jù)應(yīng)用于農(nóng)作物蟲害預(yù)測分析 192
7.1.5　農(nóng)業(yè)大數(shù)據(jù)支撐渤海糧倉增產(chǎn)增效 194
7.2　教育大數(shù)據(jù)應(yīng)用 195
7.2.1　概述 195
7.2.2　教育大數(shù)據(jù)助力教學(xué)改革案例 196
7.2.3　教育大數(shù)據(jù)支持MOOC中學(xué)生
活躍度分析 197
7.2.4　教育大數(shù)據(jù)助力個(gè)性化學(xué)習(xí) 198
7.2.5　教育大數(shù)據(jù)支持貧困生精準(zhǔn)管理 200
7.3　社交大數(shù)據(jù)應(yīng)用 201
7.3.1　概述 202
7.3.2　社交大數(shù)據(jù)支撐個(gè)性化推薦 203
7.3.3　社交大數(shù)據(jù)服務(wù)識別風(fēng)險(xiǎn)客戶 204
7.3.4　社交大數(shù)據(jù)應(yīng)用于城市規(guī)劃 205
7.4　旅游大數(shù)據(jù)應(yīng)用 206
7.4.1　概述 206
7.4.2　旅游大數(shù)據(jù)助力精準(zhǔn)營銷 207
7.4.3　旅游大數(shù)據(jù)支撐智慧旅游 210
7.5　交通大數(shù)據(jù)應(yīng)用 213
7.5.1　概述 213
7.5.2　城市交通大數(shù)據(jù)應(yīng)用案例 214
7.5.3　鐵路交通大數(shù)據(jù)應(yīng)用案例 217
7.6　金融大數(shù)據(jù)應(yīng)用 219
7.6.1　概述 219
7.6.2　金融大數(shù)據(jù)服務(wù)精準(zhǔn)營銷 220
7.6.3　金融大數(shù)據(jù)服務(wù)銀行資源配置規(guī)劃 223
7.6.4　金融大數(shù)據(jù)增強(qiáng)風(fēng)險(xiǎn)防控 226
7.6.5　金融大數(shù)據(jù)支撐普惠服務(wù) 227
習(xí)題與思考 229
參考文獻(xiàn) 230
參考資料 232

1. Python程序設(shè)計(jì)案例教程 [主編 毛錦庚 鐘肖英 周賢來 ]
2. 數(shù)據(jù)標(biāo)注技術(shù) [俞永飛]
3. 信息系統(tǒng)項(xiàng)目管理師案例分析一本通 [王樹文]
4. 網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)師5天修煉（第二版） [朱小平 施游]
5. 軟考論文高分特訓(xùn)與范文10篇—信息系統(tǒng)項(xiàng)目管理師 [薛大龍]
6. 大數(shù)據(jù)營銷 [丁慧潔 楊升煒]
7. 軟考論文高分特訓(xùn)與范文10篇—網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)師 [雷紅艷 施游 朱小平]
8. 基于.NET Core框架的分布式系統(tǒng)架構(gòu)設(shè)計(jì) [湯佳 著]
9. 高職院校軟件類專業(yè)“類上班制”人才培養(yǎng)模式研究 [楊智勇 王海洋 著]
10. 浮式圓柱型結(jié)構(gòu)物渦激運(yùn)動特性研究 [孫洪源 李 磊 林海花 著]
11. 信電類專門用途英語教程 [主編 宋晶]
12. 體育舞蹈教程 [主編 劉偉 陳志明 曾明]
13. VR-X3D虛擬現(xiàn)實(shí)開發(fā)與設(shè)計(jì) [張金釗 張金鏑 張帥晨 張]
14. 線性代數(shù)導(dǎo)學(xué)篇 [主編 史昱]
15. 信息技術(shù)基礎(chǔ)實(shí)訓(xùn)與習(xí)題指導(dǎo)（Windows7+Office2016） [主編 周金容 唐天國]
16. 中考英語單詞循環(huán)速記手抄本 [宋德偉 編著]
17. 運(yùn)動控制系統(tǒng)安裝調(diào)試與運(yùn)行 [張燕 李蘭云 王愛林]
18. Mr.Yang的魔法自然拼讀 [楊家成]
19. 機(jī)械制圖 [許淑珍 于利民]
20. 微積分（經(jīng)管類）導(dǎo)學(xué)篇（下冊） [王海棠 曹海軍 周玲麗]
21. 大學(xué)生創(chuàng)新創(chuàng)業(yè)基礎(chǔ) [主編 姜國權(quán) 姜福佳]
22. 農(nóng)產(chǎn)品云倉模式研究—以北京農(nóng)產(chǎn)品流通物流供應(yīng)鏈重構(gòu)為例 [武曉釗 王成林 王春娟 等著]
23. 信息技術(shù)（微課版） [王云　徐江鴻　李清霞　羅學(xué)鋒　]
24. 管理基礎(chǔ)與實(shí)務(wù) [主編 王鳳基 顏漢軍]
25. 高等數(shù)學(xué)導(dǎo)學(xué)篇（下冊） [主編 李文婧 胡雷 尹金生]
26. 高等數(shù)學(xué)導(dǎo)學(xué)篇（上冊） [主編 李文婧 胡雷 尹金生]
27. 高等數(shù)學(xué)（下冊） [主編 李愛芹 胡雷 尹金生]
28. 高等數(shù)學(xué)（上冊） [主編 李愛芹 胡雷 尹金生]
29. 庭院風(fēng)骨—樹、灌、籬 [創(chuàng)意房主 著]
30. Python語言程序設(shè)計(jì)教程 [郭其標(biāo) 房宜汕]