大數(shù)據(jù)技術(shù)基礎(chǔ)與實(shí)戰(zhàn)

體系結(jié)構(gòu)合理：基礎(chǔ)篇和實(shí)戰(zhàn)篇相結(jié)合，理論夠用，突出實(shí)踐應(yīng)用。

內(nèi)容安排全面：兼顧崗位要求、職業(yè)技能競賽和1+X證書知識(shí)范圍。

配套資源豐富：配套微課、課件、習(xí)題答案等，方便讀者學(xué)習(xí)使用。

進(jìn)入21世紀(jì)以來，云計(jì)算、大數(shù)據(jù)、人工智能等新興信息技術(shù)飛速發(fā)展，快速融入人類社會(huì)的各個(gè)領(lǐng)域，對(duì)社會(huì)的發(fā)展起到了重要的促進(jìn)作用。新時(shí)代的到來、新興技術(shù)的興起，對(duì)從事信息技術(shù)行業(yè)的技術(shù)人員和高職信息技術(shù)人才培養(yǎng)是一個(gè)新的挑戰(zhàn)，各級(jí)各類學(xué)校都在大力倡導(dǎo)和推進(jìn)新興信息技術(shù)在教育教學(xué)中的普及和深入應(yīng)用。從學(xué)習(xí)者角度，高職電子信息類、計(jì)算機(jī)類專業(yè)的學(xué)生和社會(huì)上從事信息技術(shù)相關(guān)工作的人員渴望了解和學(xué)習(xí)大數(shù)據(jù)知識(shí)和技術(shù)，因此需要一本既可以把大數(shù)據(jù)相關(guān)概念介紹清楚，又能教會(huì)大數(shù)據(jù)分析與處理全棧技術(shù)的書籍。基于此需求，我們編寫了本書。

本書分為基礎(chǔ)篇和實(shí)戰(zhàn)篇。基礎(chǔ)篇主要闡述大數(shù)據(jù)基本知識(shí)和基本技術(shù)：項(xiàng)目1闡述大數(shù)據(jù)概念、大數(shù)據(jù)來源、大數(shù)據(jù)價(jià)值、大數(shù)據(jù)影響和大數(shù)據(jù)安全；項(xiàng)目2主要介紹大數(shù)據(jù)基本技術(shù)；項(xiàng)目3介紹大數(shù)據(jù)平臺(tái)架構(gòu)、大數(shù)據(jù)平臺(tái)采用的技術(shù)；項(xiàng)目4介紹大數(shù)據(jù)采集、預(yù)處理和存儲(chǔ)技術(shù)；項(xiàng)目5介紹關(guān)系型數(shù)據(jù)庫、新型數(shù)據(jù)庫NoSQL和NoSQL產(chǎn)品；項(xiàng)目6介紹大數(shù)據(jù)分析方法和分析技術(shù)；項(xiàng)目7介紹大數(shù)據(jù)可視化技術(shù)。實(shí)戰(zhàn)篇以企業(yè)案例為主線，介紹環(huán)境和平臺(tái)搭建真實(shí)場景、大數(shù)據(jù)分析處理過程的技術(shù)實(shí)現(xiàn)：項(xiàng)目8介紹大數(shù)據(jù)分析與處理基本環(huán)境搭建，包括虛擬系統(tǒng)的搭建、Linux主機(jī)配置；項(xiàng)目9介紹大數(shù)據(jù)平臺(tái)搭建，包括Hadoop平臺(tái)搭建、離線大數(shù)據(jù)分析平臺(tái)搭建和實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)搭建；項(xiàng)目10介紹基于Maven項(xiàng)目的開發(fā)環(huán)境搭建、案例的離線基礎(chǔ)數(shù)據(jù)分析與統(tǒng)計(jì)、案例的離線基礎(chǔ)數(shù)據(jù)過濾與處理、實(shí)時(shí)數(shù)據(jù)分析與處理技術(shù)實(shí)現(xiàn)。實(shí)戰(zhàn)篇內(nèi)容兼顧企業(yè)崗位要求、職業(yè)技能競賽和1+X證書知識(shí)范圍，具有很強(qiáng)的實(shí)用價(jià)值。

本書由李麗萍、周永福、吳明宇任主編，王蘭豐、魏育華、李任鶴任副主編，王建華任主審，楊一冬、孫夢琳、李景華、邢雅丹和李依桐參與編寫。李麗萍負(fù)責(zé)全書統(tǒng)稿工作。本書編寫人員均為高職計(jì)算機(jī)類專業(yè)大數(shù)據(jù)技術(shù)相關(guān)課程一線教師，多次參加企業(yè)1+X證書技術(shù)培訓(xùn)，指導(dǎo)學(xué)生參加職業(yè)技能競賽并多次獲獎(jiǎng)，積累了豐富的大數(shù)據(jù)技術(shù)教學(xué)經(jīng)驗(yàn)。

在本書編寫過程中，編者參閱并引用了部分論文、專著和文獻(xiàn)資料，在此對(duì)其作者表示感謝。本書實(shí)戰(zhàn)篇大數(shù)據(jù)分析案例由廣州泰迪智能科技股份有限公司提供，在此深表謝意。由于編者水平有限，書中難免存在疏漏和不足之處，懇請(qǐng)讀者批評(píng)指正。

編者

2022年6月

基礎(chǔ)篇
項(xiàng)目1 大數(shù)據(jù)概述 2
任務(wù)1 大數(shù)據(jù)概念 2
任務(wù)2 大數(shù)據(jù)來源 6
任務(wù)3 大數(shù)據(jù)價(jià)值及大數(shù)據(jù)影響 9
任務(wù)4 大數(shù)據(jù)應(yīng)用與大數(shù)據(jù)安全 14
項(xiàng)目拓展 20
思考與練習(xí) 20
項(xiàng)目2 大數(shù)據(jù)技術(shù) 21
任務(wù)1 大數(shù)據(jù)技術(shù)概述 21
任務(wù)2 Hadoop概述 27
項(xiàng)目拓展 32
思考與練習(xí) 32
項(xiàng)目3 大數(shù)據(jù)處理平臺(tái) 33
任務(wù)1 大數(shù)據(jù)處理平臺(tái)架構(gòu) 33
任務(wù)2 離線大數(shù)據(jù)處理平臺(tái)Hadoop 36
任務(wù)3 大數(shù)據(jù)綜合處理平臺(tái)Spark 41
項(xiàng)目拓展 45
思考與練習(xí) 45
項(xiàng)目4 大數(shù)據(jù)采集與存儲(chǔ) 46
任務(wù)1 數(shù)據(jù)采集 46
任務(wù)2 數(shù)據(jù)預(yù)處理 50
任務(wù)3 大數(shù)據(jù)存儲(chǔ) 55
任務(wù)4 分布式文件系統(tǒng) 59
項(xiàng)目拓展 64
思考與練習(xí) 64
項(xiàng)目5 新型數(shù)據(jù)庫 65
任務(wù)1 關(guān)系型數(shù)據(jù)庫 65
任務(wù)2 NoSQL 69
任務(wù)3 NoSQL的類型與產(chǎn)品 74
項(xiàng)目拓展 81
思考與練習(xí) 82
項(xiàng)目6 大數(shù)據(jù)分析與處理 83
任務(wù)1 大數(shù)據(jù)分析方法 83
任務(wù)2 大數(shù)據(jù)分析技術(shù) 86
項(xiàng)目拓展 93
思考與練習(xí) 93
項(xiàng)目7 數(shù)據(jù)可視化 94
任務(wù)1 數(shù)據(jù)可視化概念 94
任務(wù)2 數(shù)據(jù)可視化方法 101
任務(wù)3 數(shù)據(jù)可視化應(yīng)用 108
項(xiàng)目拓展 116
思考與練習(xí) 116
實(shí)戰(zhàn)篇
項(xiàng)目8 大數(shù)據(jù)分析基礎(chǔ)環(huán)境搭建 118
任務(wù)1 虛擬系統(tǒng)的搭建 118
任務(wù)2 Linux主機(jī)的配置 130
項(xiàng)目拓展 145
思考與練習(xí) 145
項(xiàng)目9 大數(shù)據(jù)平臺(tái)搭建 146
任務(wù)1 Hadoop平臺(tái)的兩種搭建方式 146
任務(wù)2 Hadoop平臺(tái)下離線大數(shù)據(jù)分析
平臺(tái)的搭建方式 176
任務(wù)3 Hadoop平臺(tái)下實(shí)時(shí)大數(shù)據(jù)分析
平臺(tái)的搭建方式 189
項(xiàng)目拓展 198
思考與練習(xí) 198
項(xiàng)目10 大數(shù)據(jù)分析案例技術(shù)實(shí)戰(zhàn) 199
任務(wù)1 法律服務(wù)大數(shù)據(jù)分析與探索 199
任務(wù)2 基于Maven的項(xiàng)目開發(fā)環(huán)境搭建 203
任務(wù)3 離線基礎(chǔ)數(shù)據(jù)分析與統(tǒng)計(jì) 209
任務(wù)4 離線基礎(chǔ)數(shù)據(jù)的過濾與統(tǒng)計(jì) 220
任務(wù)5 離線數(shù)據(jù)的處理 225
任務(wù)6 實(shí)時(shí)數(shù)據(jù)分析與處理 229
項(xiàng)目拓展 235
思考與練習(xí) 235
參考文獻(xiàn) 236

1. 零基礎(chǔ)玩轉(zhuǎn)國產(chǎn)大模型DeepSeek [徐永冰 張帥 編著]
2. 網(wǎng)絡(luò)工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統(tǒng)項(xiàng)目管理師考試32小時(shí)通關(guān)（適用第4版考綱） [薛大龍]
4. 信息系統(tǒng)管理工程師考試32小時(shí)通關(guān)（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測實(shí)訓(xùn) [洪曉江 達(dá)則曉麗 錢波]
6. 科技信息檢索與論文寫作實(shí)用教程 [李振華]
7. 傳統(tǒng)山水畫論解讀與實(shí)踐 [陳鈉 著]
8. Python數(shù)據(jù)庫編程 [主編 殷樹友 邢 翀]
9. 計(jì)算機(jī)基礎(chǔ)實(shí)訓(xùn)指導(dǎo) [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術(shù)應(yīng)用（數(shù)字教材） [主編 胡娜 楊國勇 晏廷榮]
11. Vienna整流器技術(shù) [桂存兵 著]
12. 變頻器與伺服應(yīng)用 [陳剛 葉云飛]
13. 物聯(lián)網(wǎng)工程設(shè)計(jì)與實(shí)踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運(yùn)營與管理 [鐘肖英 陳瀟]
16. Java面向?qū)ο蟪绦蛟O(shè)計(jì) [主編 姜春磊 陳虹潔]
17. 信息技術(shù)基礎(chǔ)（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應(yīng)用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學(xué)生職業(yè)發(fā)展與就業(yè)指導(dǎo) [主編　劉志堅(jiān)]
20. 高級(jí)辦公應(yīng)用項(xiàng)目教程 [主編 屈晶 趙成麗]
21. 微信小程序開發(fā)項(xiàng)目實(shí)戰(zhàn)（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業(yè)檔案工作實(shí)戰(zhàn)寶典百問百答 [華俊 盧秀英 邵甜甜 著]
23. 計(jì)算機(jī)網(wǎng)絡(luò)原理及應(yīng)用 [主編 唐繼勇 葉坤 孫夢娜]
24. 大學(xué)生創(chuàng)業(yè)基礎(chǔ) [主編 王麗莉 王 楊]
25. 船舶輔機(jī) [主編 王連海 于洋 姜淑翠]
26. 大學(xué)生就業(yè)指導(dǎo) [主編 王麗莉 董宴廷]
27. 系統(tǒng)架構(gòu)設(shè)計(jì)師章節(jié)習(xí)題與考點(diǎn)特訓(xùn) [主編 薛大龍 鄒月平]
28. 高校學(xué)生工作探索與實(shí)踐 [郭亮 著]
29. 大學(xué)生情商管理 [方雄 著]
30. 2023年長沙市會(huì)展業(yè)發(fā)展報(bào)告 [主編 周棟良]