大數(shù)據(jù)技術(shù)導(dǎo)論

內(nèi)容實(shí)用——理論與實(shí)踐結(jié)合，重點(diǎn)突出應(yīng)用

體系完善——構(gòu)建完整的大數(shù)據(jù)專(zhuān)業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對(duì)標(biāo)行業(yè)標(biāo)準(zhǔn)

當(dāng)前，新一代信息技術(shù)正在全球孕育興起，科技創(chuàng)新、產(chǎn)業(yè)形態(tài)和應(yīng)用格局正發(fā)生著重大變革。隨著數(shù)據(jù)獲取和計(jì)算技術(shù)的進(jìn)步，大數(shù)據(jù)已成為一種新的國(guó)家戰(zhàn)略資源，并引起了學(xué)術(shù)界、產(chǎn)業(yè)界、政府及行業(yè)用戶(hù)等的高度關(guān)注。世界主要發(fā)達(dá)國(guó)家已經(jīng)相繼制定了促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的政策法規(guī)，積極構(gòu)建大數(shù)據(jù)生態(tài)，實(shí)施大數(shù)據(jù)國(guó)家戰(zhàn)略。

大數(shù)據(jù)技術(shù)正處于快速發(fā)展之中，不斷有新的技術(shù)涌現(xiàn)。基于互聯(lián)網(wǎng)技術(shù)而發(fā)展起來(lái)的大數(shù)據(jù)技術(shù)，將會(huì)有顛覆性的影響。

本書(shū)定位為大數(shù)據(jù)專(zhuān)業(yè)課程的導(dǎo)論課教材，以“構(gòu)建知識(shí)體系，闡明基本原理，開(kāi)展初級(jí)實(shí)踐，了解相關(guān)應(yīng)用”為原則，旨在為讀者搭建起通往大數(shù)據(jù)知識(shí)空間的橋梁，為讀者在大數(shù)據(jù)領(lǐng)域的“精耕細(xì)作”奠定基礎(chǔ)、指明方向。本書(shū)主要幫助讀者掌握大數(shù)據(jù)的基本原理和基本知識(shí)，熟悉大數(shù)據(jù)技術(shù)在多個(gè)行業(yè)的應(yīng)用，加深讀者對(duì)大數(shù)據(jù)的理解。本書(shū)注重知識(shí)結(jié)構(gòu)的基礎(chǔ)性與完整性，確保技術(shù)內(nèi)容的通用性、普適性與先進(jìn)性，遵循教育規(guī)律，加強(qiáng)能力培養(yǎng)，同時(shí)附加大數(shù)據(jù)實(shí)操案例，開(kāi)闊讀者視野，啟發(fā)創(chuàng)新思維。

本書(shū)共8 個(gè)章節(jié)，從概念、技術(shù)、應(yīng)用以及發(fā)展等方面，全面介紹了當(dāng)前大數(shù)據(jù)的體系與基本發(fā)展情況。第1 章主要介紹與大數(shù)據(jù)相關(guān)的基礎(chǔ)概念，包括大數(shù)據(jù)的特征、計(jì)量、生命周期以及當(dāng)前時(shí)代大數(shù)據(jù)的重大變革；第2 章主要介紹大數(shù)據(jù)的生態(tài)系統(tǒng)，包括Hadoop、HDFS、MapReduce 以及編程語(yǔ)言Python、Spark 和R 語(yǔ)言；第3 章主要介紹大數(shù)據(jù)采集的工具技術(shù)和大數(shù)據(jù)預(yù)處理階段的相關(guān)技術(shù)與方法，包括數(shù)據(jù)采集的分類(lèi)、工具，數(shù)據(jù)清洗的任務(wù)、過(guò)程以及網(wǎng)絡(luò)爬蟲(chóng)的實(shí)例介紹；第4 章詳細(xì)介紹了數(shù)據(jù)挖掘與分析的相關(guān)知識(shí)，包括大數(shù)據(jù)分析的概念、流程、特點(diǎn)、難點(diǎn)，數(shù)據(jù)認(rèn)知以及數(shù)據(jù)建模知識(shí)，附加數(shù)據(jù)挖掘與分析的案例詳解；第5 章圍繞大數(shù)據(jù)可視化展開(kāi)討論，介紹其作用與分類(lèi)，并剖析其發(fā)展歷史以及未來(lái)的發(fā)展方向與挑戰(zhàn)；第6 章主要介紹大數(shù)據(jù)分別在互聯(lián)網(wǎng)行業(yè)、金融行業(yè)、保險(xiǎn)行業(yè)以及旅游行業(yè)的應(yīng)用；第7 章根據(jù)目前大數(shù)據(jù)發(fā)展的現(xiàn)狀，對(duì)大數(shù)據(jù)安全以及大數(shù)據(jù)所面臨的安全威脅做出了詳細(xì)剖析；第8 章為大數(shù)據(jù)案例實(shí)操分析，主要通過(guò)實(shí)踐案例來(lái)加深讀者對(duì)前面章節(jié)的學(xué)習(xí)理解。

本書(shū)由樊繼慧、李旭耀主編。本書(shū)主編結(jié)合自己在廣州理工學(xué)院多年的工作經(jīng)驗(yàn)，以大量事實(shí)數(shù)據(jù)為基礎(chǔ)，進(jìn)行研究工作；高新凱老師為本書(shū)資源建設(shè)做了很多有益工作。中國(guó)水利水電出版社的有關(guān)負(fù)責(zé)同志對(duì)本書(shū)的出版給予了大力支持。本書(shū)在編寫(xiě)過(guò)程中參考了大量國(guó)內(nèi)外計(jì)算機(jī)網(wǎng)絡(luò)文獻(xiàn)資料，在此，謹(jǐn)向這些著作者以及為本書(shū)出版付出辛勤勞動(dòng)的同志深表感謝！

期待讀者在本書(shū)的介紹中能得到關(guān)于大數(shù)據(jù)的基礎(chǔ)理解與收獲，由于編者能力有限，書(shū)中難免存在不足之處，望廣大讀者不吝賜教。

前言
第1 章　概論 .................................................................. 1
1.1　揭秘大數(shù)據(jù) ............................................................... 1
1.1.1　大數(shù)據(jù)概念和特征 .......................................... 4
1.1.2　大數(shù)據(jù)的計(jì)量 .................................................. 6
1.1.3　大數(shù)據(jù)生命周期 .............................................. 7
1.1.4　大數(shù)據(jù)與云計(jì)算 .............................................. 9
1.1.5　大數(shù)據(jù)時(shí)代的重大變革 ................................ 11
1.2　大數(shù)據(jù)關(guān)鍵技術(shù) ..................................................... 13
練習(xí)1 ............................................................................... 13
第2 章　大數(shù)據(jù)生態(tài)系統(tǒng) .............................................. 14
2.1　Hadoop .................................................................... 14
2.1.1　Hadoop 簡(jiǎn)介................................................... 15
2.1.2　Hadoop 優(yōu)勢(shì)................................................... 16
2.2　HDFS ....................................................................... 16
2.2.1　HDFS 體系結(jié)構(gòu) ............................................. 17
2.2.2　HDFS 存儲(chǔ)原理 ............................................. 17
2.2.3　HDFS 常用操作 ............................................. 18
2.3　MapReduce .............................................................. 18
2.3.1　MapReduce 簡(jiǎn)介 ............................................ 19
2.3.2　MapReduce 的適用場(chǎng)景 ................................ 19
2.3.3　MapReduce 的優(yōu)點(diǎn)和缺點(diǎn) ............................ 19
2.4　大數(shù)據(jù)編程語(yǔ)言 ..................................................... 20
2.4.1　Python ............................................................. 20
2.4.2　Spark ............................................................... 22
2.4.3　R 語(yǔ)言............................................................. 25
練習(xí)2 ............................................................................... 30
第3 章　大數(shù)據(jù)采集與預(yù)處理 ....................................... 31
3.1　數(shù)據(jù)采集 ................................................................. 31
3.1.1　數(shù)據(jù)采集分類(lèi) ................................................ 32
3.1.2　數(shù)據(jù)采集方法 ................................................ 32
3.1.3　數(shù)據(jù)采集工具 ................................................ 34
3.2　數(shù)據(jù)清洗 ................................................................. 35
3.2.1　數(shù)據(jù)清洗任務(wù) ................................................ 35
3.2.2　數(shù)據(jù)清洗過(guò)程 ................................................ 35
3.3　數(shù)據(jù)變換 ................................................................. 37
3.3.1　規(guī)范化 ............................................................ 37
3.3.2　數(shù)據(jù)變換分類(lèi) ................................................ 38
3.4　數(shù)據(jù)分析與采集實(shí)例：線性回歸和邏輯回歸 ..... 39
練習(xí)3 ............................................................................... 47
第4 章　數(shù)據(jù)挖掘與分析 .............................................. 48
4.1　大數(shù)據(jù)分析概述 ..................................................... 48
4.1.1　數(shù)據(jù)分析原則 ................................................ 48
4.1.2　大數(shù)據(jù)分析特點(diǎn) ............................................ 49
4.1.3　大數(shù)據(jù)分析流程 ............................................ 50
4.1.4　數(shù)據(jù)分析師基本技能和素質(zhì) ........................ 51
4.1.5　大數(shù)據(jù)分析難點(diǎn) ............................................ 52
4.2　數(shù)據(jù)認(rèn)知 ................................................................. 53
4.2.1　數(shù)據(jù)預(yù)處理 .................................................... 55
4.2.2　概率分析 ........................................................ 56
4.2.3　對(duì)比分析 ........................................................ 56
4.2.4　相關(guān)分析 ........................................................ 57
4.3　數(shù)據(jù)建模 ................................................................. 57
4.3.1　模型分類(lèi) ........................................................ 58
4.3.2　決策樹(shù) ............................................................ 58
4.3.3　關(guān)聯(lián)分析 ........................................................ 62
4.3.4　回歸分析 ........................................................ 67
4.3.5　聚類(lèi)分析 ........................................................ 69
4.3.6　k- 近鄰分類(lèi)算法 ............................................ 70
4.4　數(shù)據(jù)挖掘與分析案例分析 ..................................... 71
練習(xí)4 ............................................................................... 73
第5 章　數(shù)據(jù)可視化技術(shù) .............................................. 74
5.1　數(shù)據(jù)可視化概述 ..................................................... 74
5.2　數(shù)據(jù)可視化的作用 ................................................. 75
5.3　數(shù)據(jù)可視化的分類(lèi) ................................................. 75
5.4　數(shù)據(jù)可視化的發(fā)展歷史 ......................................... 76
5.5　數(shù)據(jù)可視化發(fā)展方向與挑戰(zhàn) ................................. 76
5.6　數(shù)據(jù)可視化的流程與原則 ..................................... 77
5.7　大數(shù)據(jù)可視化實(shí)操 ................................................. 78
5.7.1　Tableau 安裝與ODBC 創(chuàng)建 ......................... 79
5.7.2　Tableau 繪圖實(shí)操演示 ................................... 86
練習(xí)5 ............................................................................... 92
第6 章　大數(shù)據(jù)應(yīng)用 ..................................................... 93
6.1　互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)應(yīng)用 ......................................... 93
6.2　金融行業(yè)大數(shù)據(jù)應(yīng)用 ............................................. 97
6.3　保險(xiǎn)行業(yè)大數(shù)據(jù)應(yīng)用 ............................................. 99
6.4　旅游行業(yè)大數(shù)據(jù)應(yīng)用 ........................................... 101
6.5　政府大數(shù)據(jù)應(yīng)用 ................................................... 103
6.5.1　發(fā)展歷程 ...................................................... 104
6.5.2　行業(yè)痛點(diǎn) ...................................................... 106
6.5.3　發(fā)展機(jī)會(huì) ...................................................... 106
6.5.4　社會(huì)價(jià)值 ...................................................... 107
6.5.5　機(jī)遇與挑戰(zhàn) .................................................. 108
6.6　大數(shù)據(jù)應(yīng)用平臺(tái) ................................................... 109
練習(xí)6 ..............................................................................111
第7 章　大數(shù)據(jù)安全 ................................................... 112
7.1　大數(shù)據(jù)安全的重要意義 ....................................... 112
7.2　大數(shù)據(jù)面臨的挑戰(zhàn) ............................................... 114
7.3　大數(shù)據(jù)的安全威脅 ............................................... 116
7.3.1　大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅 .......................... 117
7.3.2　大數(shù)據(jù)存儲(chǔ)安全威脅 .................................. 118
7.3.3　大數(shù)據(jù)的隱私泄露 ...................................... 121
7.3.4　大數(shù)據(jù)的其他安全威脅 .............................. 125
練習(xí)7 ............................................................................. 127
第8 章　大數(shù)據(jù)案例實(shí)操分析 ..................................... 128
8.1　大數(shù)據(jù)案例分析的前期準(zhǔn)備工作 ....................... 128
8.2　案例一：爬蟲(chóng)技術(shù) ............................................... 130
8.2.1　認(rèn)識(shí)爬蟲(chóng) ...................................................... 130
8.2.2　認(rèn)識(shí)HTTP ................................................... 132
8.2.3　實(shí)現(xiàn)HTTP 請(qǐng)求 .......................................... 133
8.2.4　常規(guī)動(dòng)態(tài)網(wǎng)頁(yè)爬取 ...................................... 135
8.3　案例二：MINIST 數(shù)字識(shí)別技術(shù) ........................ 140
練習(xí)8 ............................................................................. 143
參考文獻(xiàn) ..................................................................... 144

1. 零基礎(chǔ)玩轉(zhuǎn)國(guó)產(chǎn)大模型DeepSeek [徐永冰 張帥 編著]
2. 網(wǎng)絡(luò)工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統(tǒng)項(xiàng)目管理師考試32小時(shí)通關(guān)（適用第4版考綱） [薛大龍]
4. 信息系統(tǒng)管理工程師考試32小時(shí)通關(guān)（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測(cè)實(shí)訓(xùn) [洪曉江 達(dá)則曉麗 錢(qián)波]
6. 科技信息檢索與論文寫(xiě)作實(shí)用教程 [李振華]
7. 傳統(tǒng)山水畫(huà)論解讀與實(shí)踐 [陳鈉 著]
8. Python數(shù)據(jù)庫(kù)編程 [主編 殷樹(shù)友 邢 翀]
9. 計(jì)算機(jī)基礎(chǔ)實(shí)訓(xùn)指導(dǎo) [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術(shù)應(yīng)用（數(shù)字教材） [主編 胡娜 楊國(guó)勇 晏廷榮]
11. Vienna整流器技術(shù) [桂存兵 著]
12. 變頻器與伺服應(yīng)用 [陳剛 葉云飛]
13. 物聯(lián)網(wǎng)工程設(shè)計(jì)與實(shí)踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運(yùn)營(yíng)與管理 [鐘肖英 陳瀟]
16. Java面向?qū)ο蟪绦蛟O(shè)計(jì) [主編 姜春磊 陳虹潔]
17. 信息技術(shù)基礎(chǔ)（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應(yīng)用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學(xué)生職業(yè)發(fā)展與就業(yè)指導(dǎo) [主編　劉志堅(jiān)]
20. 高級(jí)辦公應(yīng)用項(xiàng)目教程 [主編 屈晶 趙成麗]
21. 微信小程序開(kāi)發(fā)項(xiàng)目實(shí)戰(zhàn)（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業(yè)檔案工作實(shí)戰(zhàn)寶典百問(wèn)百答 [華俊 盧秀英 邵甜甜 著]
23. 計(jì)算機(jī)網(wǎng)絡(luò)原理及應(yīng)用 [主編 唐繼勇 葉坤 孫夢(mèng)娜]
24. 大學(xué)生創(chuàng)業(yè)基礎(chǔ) [主編 王麗莉 王 楊]
25. 船舶輔機(jī) [主編 王連海 于洋 姜淑翠]
26. 大學(xué)生就業(yè)指導(dǎo) [主編 王麗莉 董宴廷]
27. 系統(tǒng)架構(gòu)設(shè)計(jì)師章節(jié)習(xí)題與考點(diǎn)特訓(xùn) [主編 薛大龍 鄒月平]
28. 高校學(xué)生工作探索與實(shí)踐 [郭亮 著]
29. 大學(xué)生情商管理 [方雄 著]
30. 2023年長(zhǎng)沙市會(huì)展業(yè)發(fā)展報(bào)告 [主編 周棟良]