大數(shù)據(jù)導(dǎo)論

內(nèi)容實(shí)用——理論與實(shí)踐結(jié)合，重點(diǎn)突出應(yīng)用

體系完善——構(gòu)建完整的大數(shù)據(jù)專業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對(duì)標(biāo)行業(yè)標(biāo)準(zhǔn)

資源豐富——微課、課件、教案、源碼、答案

隨著物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的興起，全球數(shù)據(jù)呈爆炸式增長(zhǎng)，各行各業(yè)都在經(jīng)歷大數(shù)據(jù)帶來(lái)的革命，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。大數(shù)據(jù)具有體量巨大、速度極快、類型眾多、價(jià)值巨大的特點(diǎn)，對(duì)數(shù)據(jù)從產(chǎn)生、存儲(chǔ)、分析到利用提出了前所未有的新要求。為了響應(yīng)社會(huì)發(fā)展需要，教育部于2016年開(kāi)始在高等院校正式開(kāi)設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)，本書(shū)正是為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的“大數(shù)據(jù)導(dǎo)論”課程編寫的教材。

本書(shū)旨在讓大學(xué)新生對(duì)該專業(yè)相關(guān)的基本知識(shí)、典型技術(shù)、具體應(yīng)用等有一個(gè)相對(duì)全面而直觀的了解，在入門性的學(xué)習(xí)過(guò)程中提高對(duì)專業(yè)的認(rèn)識(shí)，激發(fā)學(xué)生的專業(yè)學(xué)習(xí)興趣。本書(shū)注重知識(shí)結(jié)構(gòu)的基礎(chǔ)性與完整性，確保技術(shù)內(nèi)容的通用性、普適性與先進(jìn)性，遵循教育規(guī)律，加強(qiáng)能力培養(yǎng)，同時(shí)精選行業(yè)應(yīng)用案例，開(kāi)闊學(xué)生視野，啟發(fā)創(chuàng)新思維。本書(shū)在寫作思路和內(nèi)容編排上具有以下幾個(gè)方面的特色。

（1）知識(shí)體系完整。本書(shū)包括大數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)管理、挖掘分析以及可視化等處理流程中的基本理論、方法和關(guān)鍵技術(shù)，涵蓋數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)比較完整的理論體系，脈絡(luò)清晰，知識(shí)完整。

（2）理論與案例結(jié)合。本書(shū)在各部分知識(shí)的講解中，融入了大量入門性的教學(xué)案例，做到深入淺出、圖文并茂，幫助讀者對(duì)大數(shù)據(jù)知識(shí)和技術(shù)進(jìn)行深入理解，體現(xiàn)專業(yè)認(rèn)知的引導(dǎo)性。

（3）注重實(shí)踐應(yīng)用。本書(shū)在各章節(jié)中配置了運(yùn)用大數(shù)據(jù)工具解決問(wèn)題的綜合實(shí)踐案例，通過(guò)實(shí)踐內(nèi)容的細(xì)致講解和輔助的視頻，能夠幫助讀者完成動(dòng)手實(shí)踐的環(huán)節(jié)，加深讀者對(duì)專業(yè)知識(shí)的理解。

（4）適用范圍廣。本書(shū)是為高等院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的“大數(shù)據(jù)導(dǎo)論”課程編寫的教材，可作為高職高專大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的教材，也可作為大學(xué)非計(jì)算機(jī)專業(yè)的本科生或研究生的通識(shí)課程教學(xué)用書(shū)以及大數(shù)據(jù)愛(ài)好者的科普讀物。

本書(shū)共7章：數(shù)據(jù)與大數(shù)據(jù)時(shí)代、大數(shù)據(jù)獲取和預(yù)處理、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)挖掘分析、大數(shù)據(jù)可視化、大數(shù)據(jù)處理技術(shù)和行業(yè)大數(shù)據(jù)應(yīng)用。第1章介紹大數(shù)據(jù)的發(fā)展歷程、大數(shù)據(jù)思維、數(shù)據(jù)科學(xué)的內(nèi)涵以及大數(shù)據(jù)處理流程等；第2章至第6章以數(shù)據(jù)獲取和預(yù)處理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化的大數(shù)據(jù)處理流程為主線，對(duì)大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行講解，進(jìn)一步闡述當(dāng)前典型大數(shù)據(jù)處理平臺(tái)中的技術(shù)和方法；第7章介紹行業(yè)大數(shù)據(jù)的典型應(yīng)用案例，讓讀者了解大數(shù)據(jù)在農(nóng)業(yè)、教育、社交、旅游、交通、金融等多個(gè)行業(yè)中應(yīng)用帶來(lái)的巨大價(jià)值。

本書(shū)由苑迎春任主編，徐靜、路小英、王超、董素芬任副主編，其中第1章由苑迎春、宋宇斐編寫，第2章由程芳、王超編寫，第3章由王超編寫，第4章由路小英編寫，第5章由董素芬、徐靜編寫，第6章由沈紅巖、苑迎春編寫，第7章由徐靜、宋宇斐、孫潔麗、賀平編寫，全書(shū)統(tǒng)稿工作由苑迎春完成。

本書(shū)參考了大量圖書(shū)資料，也參考了大量網(wǎng)絡(luò)資源，在編寫過(guò)程中，河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院的研究生潘飛、何晨等做了大量輔助性工作，在此一并向他們表示衷心感謝。由于編者水平有限，加之時(shí)間倉(cāng)促，書(shū)中難免存在錯(cuò)誤和不妥之處，懇請(qǐng)讀者批評(píng)指正。

編　者

2020年10月

第1章　數(shù)據(jù)與大數(shù)據(jù)時(shí)代 1
1.1　從數(shù)據(jù)到大數(shù)據(jù) 2
1.1.1　數(shù)據(jù)及其作用 2
1.1.2　大數(shù)據(jù)時(shí)代的到來(lái) 3
1.2　大數(shù)據(jù)概念 3
1.2.1　大數(shù)據(jù)定義 3
1.2.2　大數(shù)據(jù)結(jié)構(gòu) 4
1.2.3　大數(shù)據(jù)特征 5
1.3　大數(shù)據(jù)思維 6
1.3.1　全樣思維 6
1.3.2　容錯(cuò)思維 7
1.3.3　相關(guān)思維 8
1.4　數(shù)據(jù)科學(xué)的內(nèi)涵 9
1.4.1　科學(xué)研究的第四范式 9
1.4.2　數(shù)據(jù)科學(xué)的內(nèi)涵 10
1.4.3　數(shù)據(jù)科學(xué)對(duì)其他學(xué)科的影響 11
1.5　大數(shù)據(jù)處理技術(shù) 12
1.5.1　大數(shù)據(jù)處理流程 12
1.5.2　大數(shù)據(jù)計(jì)算模式 14
1.6　大數(shù)據(jù)應(yīng)用 16
1.6.1　大數(shù)據(jù)的行業(yè)應(yīng)用 16
1.6.2　大數(shù)據(jù)的商用途徑 20
習(xí)題與思考 22
第2章　大數(shù)據(jù)獲取和預(yù)處理 23
2.1　概述 24
2.1.1　數(shù)據(jù)的來(lái)源 24
2.1.2　數(shù)據(jù)的質(zhì)量 25
2.1.3　數(shù)據(jù)預(yù)處理 26
2.2　大數(shù)據(jù)獲取方法 27
2.2.1　分布式日志采集 27
2.2.2　網(wǎng)絡(luò)爬蟲(chóng) 34
2.2.3　其他獲取方法 44
2.3　大數(shù)據(jù)預(yù)處理技術(shù) 46
2.3.1　數(shù)據(jù)清洗 46
2.3.2　數(shù)據(jù)集成 49
2.3.3　數(shù)據(jù)歸約 51
2.3.4　數(shù)據(jù)變換 55
2.3.5　Kettle數(shù)據(jù)轉(zhuǎn)換實(shí)例 58
習(xí)題與思考 66
第3章　大數(shù)據(jù)存儲(chǔ)與管理 68
3.1　概述 69
3.1.1　數(shù)據(jù)庫(kù)管理技術(shù) 69
3.1.2　數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù) 70
3.1.3　大數(shù)據(jù)存儲(chǔ)管理技術(shù) 72
3.2　關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)與查詢 74
3.2.1　關(guān)系數(shù)據(jù)模型 74
3.2.2　關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng) 76
3.2.3　SQL結(jié)構(gòu)化查詢語(yǔ)言 77
3.3　大數(shù)據(jù)存儲(chǔ)與查詢 80
3.3.1　分布式文件系統(tǒng) 80
3.3.2　NoSQL數(shù)據(jù)庫(kù) 81
3.3.3　NewSQL數(shù)據(jù)庫(kù) 90
3.3.4　云數(shù)據(jù)庫(kù) 91
3.3.5　大數(shù)據(jù)SQL查詢引擎 93
習(xí)題與思考 96
第4章　大數(shù)據(jù)挖掘分析 98
4.1　概述 99
4.1.1　數(shù)據(jù)挖掘的概念 99
4.1.2　數(shù)據(jù)挖掘的流程 99
4.1.3　數(shù)據(jù)挖掘常用方法 100
4.1.4　數(shù)據(jù)挖掘常用工具 100
4.2　數(shù)據(jù)統(tǒng)計(jì)分析 101
4.2.1　數(shù)據(jù)的集中趨勢(shì) 101
4.2.2　數(shù)據(jù)的離散程度 102
4.2.3　數(shù)據(jù)的相關(guān)性度量 103
4.3　數(shù)據(jù)挖掘方法 106
4.3.1　聚類分析 106
4.3.2　關(guān)聯(lián)分析 107
4.3.3　分類分析 111
4.3.4　回歸分析 116
4.4　數(shù)據(jù)分析應(yīng)用舉例 118
4.4.1　描述分析案例 118
4.4.2　相關(guān)分析案例 120
4.4.3　回歸分析案例 120
習(xí)題與思考 123
第5章　大數(shù)據(jù)可視化 125
5.1　概述 126
5.1.1　數(shù)據(jù)可視化的目標(biāo) 126
5.1.2　數(shù)據(jù)與可視化的關(guān)系 128
5.2　大數(shù)據(jù)可視化方法 129
5.2.1　統(tǒng)計(jì)數(shù)據(jù)可視化 130
5.2.2　關(guān)系數(shù)據(jù)可視化 132
5.2.3　時(shí)空數(shù)據(jù)可視化 133
5.2.4　文本數(shù)據(jù)可視化 134
5.3　可視化技術(shù)和工具 136
5.3.1　數(shù)據(jù)可視化工具 136
5.3.2　可視化編程語(yǔ)言 138
5.3.3　Web可視化技術(shù) 139
5.4　Excel數(shù)據(jù)可視化示例 140
5.4.1　對(duì)比—直方圖 140
5.4.2　趨勢(shì)—折線圖 142
5.4.3　占比—餅狀圖 144
5.4.4　分布—散點(diǎn)圖 147
5.4.5　多維數(shù)據(jù)—雷達(dá)圖 148
5.4.6　綜合應(yīng)用—?jiǎng)討B(tài)看板 149
5.5　Tableau數(shù)據(jù)可視化示例 150
5.5.1　氣泡圖 150
5.5.2　文字云 152
5.5.3　盒須圖 153
5.5.4　地圖 155
習(xí)題與思考 155
第6章　大數(shù)據(jù)處理技術(shù) 158
6.1 概述 159
6.1.1　集中式與分布式計(jì)算架構(gòu) 159
6.1.2　大數(shù)據(jù)處理平臺(tái)架構(gòu) 161
6.1.3　典型的大數(shù)據(jù)計(jì)算平臺(tái) 162
6.2　Hadoop分布式計(jì)算平臺(tái) 164
6.2.1　Hadoop概述 164
6.2.2　Hadoop生態(tài)體系 166
6.2.3　Hadoop核心技術(shù) 171
6.3　Spark內(nèi)存計(jì)算架構(gòu) 178
6.3.1　Spark概述 178
6.3.2　Spark技術(shù)架構(gòu) 179
6.3.3　Spark核心技術(shù) 181
習(xí)題與思考 185
第7章　行業(yè)大數(shù)據(jù)應(yīng)用 187
7.1　農(nóng)業(yè)大數(shù)據(jù)應(yīng)用 188
7.1.1　概述 188
7.1.2　農(nóng)業(yè)大數(shù)據(jù)在智慧棉花系統(tǒng)中的應(yīng)用 189
7.1.3　農(nóng)業(yè)大數(shù)據(jù)助力奶牛數(shù)字化精細(xì)養(yǎng)殖 190
7.1.4　農(nóng)業(yè)大數(shù)據(jù)應(yīng)用于農(nóng)作物蟲(chóng)害預(yù)測(cè)分析 192
7.1.5　農(nóng)業(yè)大數(shù)據(jù)支撐渤海糧倉(cāng)增產(chǎn)增效 194
7.2　教育大數(shù)據(jù)應(yīng)用 195
7.2.1　概述 195
7.2.2　教育大數(shù)據(jù)助力教學(xué)改革案例 196
7.2.3　教育大數(shù)據(jù)支持MOOC中學(xué)生
活躍度分析 197
7.2.4　教育大數(shù)據(jù)助力個(gè)性化學(xué)習(xí) 198
7.2.5　教育大數(shù)據(jù)支持貧困生精準(zhǔn)管理 200
7.3　社交大數(shù)據(jù)應(yīng)用 201
7.3.1　概述 202
7.3.2　社交大數(shù)據(jù)支撐個(gè)性化推薦 203
7.3.3　社交大數(shù)據(jù)服務(wù)識(shí)別風(fēng)險(xiǎn)客戶 204
7.3.4　社交大數(shù)據(jù)應(yīng)用于城市規(guī)劃 205
7.4　旅游大數(shù)據(jù)應(yīng)用 206
7.4.1　概述 206
7.4.2　旅游大數(shù)據(jù)助力精準(zhǔn)營(yíng)銷 207
7.4.3　旅游大數(shù)據(jù)支撐智慧旅游 210
7.5　交通大數(shù)據(jù)應(yīng)用 213
7.5.1　概述 213
7.5.2　城市交通大數(shù)據(jù)應(yīng)用案例 214
7.5.3　鐵路交通大數(shù)據(jù)應(yīng)用案例 217
7.6　金融大數(shù)據(jù)應(yīng)用 219
7.6.1　概述 219
7.6.2　金融大數(shù)據(jù)服務(wù)精準(zhǔn)營(yíng)銷 220
7.6.3　金融大數(shù)據(jù)服務(wù)銀行資源配置規(guī)劃 223
7.6.4　金融大數(shù)據(jù)增強(qiáng)風(fēng)險(xiǎn)防控 226
7.6.5　金融大數(shù)據(jù)支撐普惠服務(wù) 227
習(xí)題與思考 229
參考文獻(xiàn) 230
參考資料 232

1. 零基礎(chǔ)玩轉(zhuǎn)國(guó)產(chǎn)大模型DeepSeek [徐永冰 張帥 編著]
2. 網(wǎng)絡(luò)工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統(tǒng)項(xiàng)目管理師考試32小時(shí)通關(guān)（適用第4版考綱） [薛大龍]
4. 信息系統(tǒng)管理工程師考試32小時(shí)通關(guān)（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測(cè)實(shí)訓(xùn) [洪曉江 達(dá)則曉麗 錢波]
6. 科技信息檢索與論文寫作實(shí)用教程 [李振華]
7. 傳統(tǒng)山水畫(huà)論解讀與實(shí)踐 [陳鈉 著]
8. Python數(shù)據(jù)庫(kù)編程 [主編 殷樹(shù)友 邢 翀]
9. 計(jì)算機(jī)基礎(chǔ)實(shí)訓(xùn)指導(dǎo) [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術(shù)應(yīng)用（數(shù)字教材） [主編 胡娜 楊國(guó)勇 晏廷榮]
11. Vienna整流器技術(shù) [桂存兵 著]
12. 變頻器與伺服應(yīng)用 [陳剛 葉云飛]
13. 物聯(lián)網(wǎng)工程設(shè)計(jì)與實(shí)踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運(yùn)營(yíng)與管理 [鐘肖英 陳瀟]
16. Java面向?qū)ο蟪绦蛟O(shè)計(jì) [主編 姜春磊 陳虹潔]
17. 信息技術(shù)基礎(chǔ)（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應(yīng)用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學(xué)生職業(yè)發(fā)展與就業(yè)指導(dǎo) [主編　劉志堅(jiān)]
20. 高級(jí)辦公應(yīng)用項(xiàng)目教程 [主編 屈晶 趙成麗]
21. 微信小程序開(kāi)發(fā)項(xiàng)目實(shí)戰(zhàn)（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業(yè)檔案工作實(shí)戰(zhàn)寶典百問(wèn)百答 [華俊 盧秀英 邵甜甜 著]
23. 計(jì)算機(jī)網(wǎng)絡(luò)原理及應(yīng)用 [主編 唐繼勇 葉坤 孫夢(mèng)娜]
24. 大學(xué)生創(chuàng)業(yè)基礎(chǔ) [主編 王麗莉 王 楊]
25. 船舶輔機(jī) [主編 王連海 于洋 姜淑翠]
26. 大學(xué)生就業(yè)指導(dǎo) [主編 王麗莉 董宴廷]
27. 系統(tǒng)架構(gòu)設(shè)計(jì)師章節(jié)習(xí)題與考點(diǎn)特訓(xùn) [主編 薛大龍 鄒月平]
28. 高校學(xué)生工作探索與實(shí)踐 [郭亮 著]
29. 大學(xué)生情商管理 [方雄 著]
30. 2023年長(zhǎng)沙市會(huì)展業(yè)發(fā)展報(bào)告 [主編 周棟良]