Spark大數(shù)據(jù)處理技術(shù)

內(nèi)容實(shí)用——理論與實(shí)踐結(jié)合，重點(diǎn)突出應(yīng)用

體系完善——構(gòu)建完整的大數(shù)據(jù)專業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對標(biāo)行業(yè)標(biāo)準(zhǔn)

資源豐富——微課、課件、教案、源碼、答案

隨著大數(shù)據(jù)時(shí)代的到來，無論是傳統(tǒng)行業(yè)、互聯(lián)網(wǎng)行業(yè)還是IT行業(yè)都將應(yīng)用大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)可以幫助企業(yè)進(jìn)行數(shù)據(jù)整合分析并降低生產(chǎn)成本，比如，互聯(lián)網(wǎng)公司可以在廣告業(yè)務(wù)方面進(jìn)行大數(shù)據(jù)應(yīng)用分析、效果分析和定向優(yōu)化等，在推薦系統(tǒng)方面能實(shí)施大數(shù)據(jù)優(yōu)化排名、熱點(diǎn)分析和日志監(jiān)控等。

Spark是一種基于內(nèi)存的、分布式的大數(shù)據(jù)處理框架，憑借著快速、簡潔易用以及支持多種運(yùn)行模式而成為很多企業(yè)的大數(shù)據(jù)分析框架。本書不僅介紹Spark基礎(chǔ)理論和運(yùn)行原理，還深入淺出地講解與Spark學(xué)習(xí)相關(guān)的編程語言、環(huán)境搭建、編程模型、數(shù)據(jù)處理技術(shù)、存儲(chǔ)原理和機(jī)器學(xué)習(xí)等內(nèi)容，所涉及的技術(shù)都結(jié)合代碼進(jìn)行講解并實(shí)現(xiàn)具體功能，讀者可以通過實(shí)例更加深入地理解Spark的運(yùn)行機(jī)制。

本書內(nèi)容主要包括Spark基礎(chǔ)、Scala語言基礎(chǔ)、Spark設(shè)計(jì)與運(yùn)行原理、Spark環(huán)境搭建和使用、Spark RDD彈性分布式數(shù)據(jù)集、Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理引擎、Spark Streaming實(shí)時(shí)流處理引擎、Spark MLlib機(jī)器學(xué)習(xí)、訂單交易監(jiān)控系統(tǒng)等，最后通過綜合案例全面應(yīng)用Spark中幾乎所有知識(shí)點(diǎn)，幫助讀者運(yùn)用Spark進(jìn)行大數(shù)據(jù)技術(shù)開發(fā)和應(yīng)用。

本書融入了豐富的教學(xué)和實(shí)際工作經(jīng)驗(yàn)，內(nèi)容安排合理、結(jié)構(gòu)組織有序，能夠讓讀者循序漸進(jìn)地學(xué)習(xí)，通過精講多個(gè)實(shí)例激發(fā)讀者學(xué)習(xí)興趣，圖文并茂、直觀易懂，適合初學(xué)者快速學(xué)習(xí)Spark編程；本書實(shí)例豐富，突出該課程操作性強(qiáng)的特點(diǎn)，每章由思維導(dǎo)圖、要點(diǎn)、正文、小結(jié)和習(xí)題組成，重點(diǎn)內(nèi)容配有微課視頻講解，課后習(xí)題配有答案，便于學(xué)生課后鞏固相關(guān)知識(shí)，并且提供完整源代碼。

本書首先講解理論基礎(chǔ)知識(shí)，然后圍繞理論知識(shí)點(diǎn)進(jìn)行編程實(shí)踐，最后通過綜合案例結(jié)合工作實(shí)踐培養(yǎng)分析和解決問題的能力，用貼合實(shí)際的應(yīng)用場景提升編程水平，充分鞏固各個(gè)知識(shí)點(diǎn)的應(yīng)用；源代碼全部經(jīng)過測試，能夠在Linux操作系統(tǒng)下編譯和運(yùn)行。

本書編者均從事大數(shù)據(jù)技術(shù)相關(guān)課程一線教學(xué)，如Spark、Hadoop、Java、Python等，具有豐富的教學(xué)經(jīng)驗(yàn)和較強(qiáng)的實(shí)際項(xiàng)目開發(fā)能力，主持或參與多個(gè)系統(tǒng)開發(fā)項(xiàng)目，部分教師具有企業(yè)軟件開發(fā)工作經(jīng)歷。

本書由劉仁山、周洪翠、莊新妍任主編，塔娜、腰蘇圖任副主編，主要編寫分工如下：莊新妍編寫第1章和第2章，塔娜編寫第3章和第4章，周洪翠編寫第5章和第6章，劉仁山編寫第7章并負(fù)責(zé)全書統(tǒng)稿、修改、定稿工作，腰蘇圖編寫第8章和第9章。本書編寫得到了北京華晟經(jīng)世有限公司的大力支持，在此表示感謝。

盡管編者在編寫過程中力求準(zhǔn)確、完善，但書中不妥之處在所難免，懇請讀者批評(píng)指正。

編　者

2021年9月

前言
第1章　Spark基礎(chǔ) 1
1.1　初識(shí)Spark 2
1.1.1　Spark簡介 2
1.1.2　Spark發(fā)展 2
1.2　Spark應(yīng)用場景 3
1.3　Spark生態(tài)系統(tǒng) 4
1.4　Spark與Hadoop對比 7
1.5　Spark多語言編程 8
本章小結(jié) 9
練習(xí)一 9
第2章　Scala語言基礎(chǔ) 11
2.1　Scala語言概述 12
2.1.1　Scala語言簡介 12
2.1.2　Scala編譯器安裝 12
2.2　Scala命名規(guī)范 18
2.2.1　基本語法 18
2.2.2　Scala 關(guān)鍵字 18
2.2.3　Scala注釋 19
2.3　變量 20
2.3.1　val變量 20
2.3.2　var變量 20
2.4　數(shù)據(jù)類型和運(yùn)算符 20
2.4.1　數(shù)據(jù)類型 20
2.4.2　運(yùn)算符 21
2.5　Scala控制結(jié)構(gòu) 23
2.5.1　if...else語句 23
2.5.2　循環(huán)語句 24
2.6　函數(shù)的定義和調(diào)用 26
2.6.1　內(nèi)置函數(shù)和自定義函數(shù) 26
2.6.2　函數(shù)的參數(shù) 27
2.7　Scala的lazy值 29
2.8　異常Exception的處理 30
2.9　數(shù)組 31
2.9.1　定長數(shù)組和變長數(shù)組 31
2.9.2　遍歷數(shù)組 32
2.9.3　數(shù)組轉(zhuǎn)換 32
2.9.4　數(shù)組常用方法 33
2.10　元組 33
2.10.1　創(chuàng)建元組 33
2.10.2　元組的訪問和遍歷 34
2.10.3　拉鏈操作 34
2.11　集合 34
2.11.1　列表（List） 34
2.11.2　集合（Set） 37
2.11.3　映射（Map） 38
2.12　類 40
2.12.1　類的定義 40
2.12.2　get方法和set方法 41
2.12.3　構(gòu)造器 41
2.12.4　內(nèi)部類 42
2.13　單例對象和伴生對象 43
2.13.1　單例（object）對象 43
2.13.2　伴生對象 44
2.13.3　apply方法 44
2.14　Scala中的繼承 45
2.14.1　父類具有無參構(gòu)造器的繼承 46
2.14.2　父類具有帶參構(gòu)造器的繼承 46
2.15　抽象 47
2.16　Scala中的特質(zhì) 48
2.16.1　將特質(zhì)作為接口使用 48
2.16.2　在特質(zhì)中定義具體的方法 49
2.16.3　混合使用特質(zhì)的具體方法和抽象方法 49
2.17　Scala包和引用 50
2.17.1　創(chuàng)建包 50
2.17.2　引用 50
2.17.3　包重命名和隱藏方法 51
本章小結(jié) 51
練習(xí)二 52
第3章　Spark設(shè)計(jì)與運(yùn)行原理 53
3.1　Spark架構(gòu)設(shè)計(jì) 54
3.1.1　Spark相關(guān)術(shù)語 54
3.1.2　Spark架構(gòu) 55
3.1.3　Spark運(yùn)行流程 56
3.2　Spark核心功能 57
3.2.1　Spark Core組成 57
3.2.2　Spark編程模型 58
3.2.3　Spark計(jì)算模型 59
3.3　Spark運(yùn)行模式 60
3.3.1　Local（本地）模式 60
3.3.2　Standalone（獨(dú)立）模式 61
3.3.3　Mesos（Spark on Mesos）模式 62
3.3.4　Yarn（Spark on Yarn）模式 63
本章小結(jié) 66
練習(xí)三 66
第4章　Spark環(huán)境搭建和使用 67
4.1　Spark開發(fā)環(huán)境概述 68
4.2　操作系統(tǒng)及其網(wǎng)絡(luò)環(huán)境準(zhǔn)備 68
4.2.1　操作系統(tǒng)環(huán)境 68
4.2.2　遠(yuǎn)程登錄 79
4.2.3　Linux系統(tǒng)軟件源配置 82
4.2.4　安裝和配置第二臺(tái)和第三臺(tái)虛擬機(jī) 84
4.3　Spark環(huán)境搭建 88
4.3.1　安裝JDK 88
4.3.2　安裝Hadoop 90
4.3.3　安裝MySQL Server 100
4.3.4　安裝Hive 102
4.3.5　安裝ZooKeeper 109
4.3.6　安裝Scala 111
4.3.7　安裝Kafka 112
4.3.8　安裝Spark 114
4.4　Spark集群環(huán)境測試 116
4.4.1　使用Spark-submit提交任務(wù) 116
4.4.2　使用Spark-shell交互式命令工具 120
本章小結(jié) 122
練習(xí)四 122
第5章　Spark RDD彈性分布式數(shù)據(jù)集 123
5.1　RDD簡介 124
5.1.1　RDD的特征 124
5.1.2　詞頻統(tǒng)計(jì)（WordCount）案例實(shí)現(xiàn)過程 124
5.1.3　RDD的創(chuàng)建 126
5.2　常用操作 130
5.2.1　常用的轉(zhuǎn)換 131
5.2.2　常用的動(dòng)作 137
5.2.3　實(shí)例操作 141
5.3　RDD的分區(qū) 145
5.3.1　分區(qū)的概念 145
5.3.2　分區(qū)原則和方法 146
5.4　持久化 146
5.4.1　持久化存儲(chǔ)級(jí)別 147
5.4.2　持久化存儲(chǔ)級(jí)別的選擇 147
5.5　容錯(cuò)機(jī)制 148
5.6　綜合實(shí)例 148
本章小結(jié) 154
練習(xí)五 154
第6章　Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理引擎 155
6.1　Spark SQL的基礎(chǔ)知識(shí) 156
6.1.1　Spark SQL簡介 156
6.1.2　Spark SQL數(shù)據(jù)抽象 156
6.1.3　程序主入口SparkSession 156
6.2　DataFrame 157
6.2.1　DataFrame簡介 157
6.2.2　創(chuàng)建DataFrame 158
6.2.3　DataFrame查看操作 165
6.2.4　DataFrame查詢操作 168
6.2.5　DataFrame輸出操作 174
6.3　DataSet 175
6.3.1　DataSet簡介 175
6.3.2　創(chuàng)建DataSet 176
6.4　Spark SQL操作數(shù)據(jù)源 178
本章小結(jié) 181
練習(xí)六 182
第7章　Spark Streaming實(shí)時(shí)流處理引擎 184
7.1　離線計(jì)算與實(shí)時(shí)計(jì)算 185
7.1.1　離線計(jì)算 185
7.1.2　實(shí)時(shí)計(jì)算 185
7.1.3　離線計(jì)算與實(shí)時(shí)計(jì)算比較 185
7.2　初探Spark Streaming 186
7.2.1　Spark Streaming簡介 186
7.2.2　Spark Streaming工作原理 186
7.2.3　Spark Streaming入門程序 188
7.3　Spark Streaming程序開發(fā) 190
7.3.1　Spark Streaming環(huán)境準(zhǔn)備 190
7.3.2　Spark Streaming項(xiàng)目搭建 190
7.3.3　Spark Streaming核心代碼 191
7.3.4　Spark Streaming啟動(dòng)及測試 193
7.4　DStream輸入 194
7.4.1　離散流（DStream） 194
7.4.2　DStream輸入源 194
7.4.3　文件流數(shù)據(jù)源 196
7.4.4　RDD 隊(duì)列流 197
7.4.5　Spark Streaming整合 Flume 197
7.4.6　Spark Streaming整合Kafka 201
7.5　DStream操作 203
7.5.1　無狀態(tài)操作 204
7.5.2　有狀態(tài)操作 204
7.5.3　DStream窗口操作 205
7.5.4　DStream輸出操作 206
本章小結(jié) 208
練習(xí)七 208
第8章　Spark MLlib機(jī)器學(xué)習(xí) 210
8.1　機(jī)器學(xué)習(xí)概述 211
8.1.1　機(jī)器學(xué)習(xí)簡介 211
8.1.2　大數(shù)據(jù)與機(jī)器學(xué)習(xí) 211
8.1.3　機(jī)器學(xué)習(xí)與人工智能 212
8.1.4　機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 212
8.1.5　機(jī)器學(xué)習(xí)發(fā)展過程 213
8.1.6　機(jī)器學(xué)習(xí)應(yīng)用 213
8.2　機(jī)器學(xué)習(xí)分類 214
8.2.1　監(jiān)督學(xué)習(xí) 215
8.2.2　無監(jiān)督學(xué)習(xí) 215
8.2.3　半監(jiān)督學(xué)習(xí) 215
8.2.4　強(qiáng)化學(xué)習(xí) 216
8.2.5　機(jī)器學(xué)習(xí)的基本任務(wù) 216
8.3　機(jī)器學(xué)習(xí)基本流程 216
8.3.1　機(jī)器學(xué)習(xí)基本步驟 216
8.3.2　Spark機(jī)器學(xué)習(xí)流程 217
8.4　Spark MLlib機(jī)器學(xué)習(xí)庫 220
8.4.1　MLlib介紹 220
8.3.2　MLlib數(shù)據(jù)類型 221
8.3.3　MLlib 統(tǒng)計(jì)工具 224
8.5　Spark MLlib常用算法 227
8.5.1　算法的選擇 227
8.5.2　分類算法 228
8.5.3　回歸算法 229
8.5.4　聚類算法 231
8.5.6　協(xié)同過濾算法 231
本章小結(jié) 233
練習(xí)八 233
第9章　訂單交易監(jiān)控系統(tǒng) 234
9.1　系統(tǒng)介紹 235
9.1.1　項(xiàng)目背景 235
9.1.2　相關(guān)技術(shù)介紹 235
9.2　系統(tǒng)設(shè)計(jì) 236
9.2.1　流程設(shè)計(jì) 236
9.2.2　系統(tǒng)架構(gòu) 237
9.2.3　技術(shù)選型 237
9.3　基礎(chǔ)環(huán)境配置 238
9.3.1　MariaDB數(shù)據(jù)庫部署 238
9.3.2　ZooKeeper集群部署 241
9.3.3　Kafka集群部署 243
9.3.4　Canal安裝配置 244
9.3.5　HBase安裝配置 246
9.4　系統(tǒng)功能開發(fā) 248
9.4.1　訂單交易數(shù)據(jù)表設(shè)計(jì) 248
9.4.2　訂單Mock數(shù)據(jù)生成 249
9.4.3　訂單交易數(shù)據(jù)采集 253
9.4.4　訂單交易數(shù)據(jù)分析 254
本章小結(jié) 258
練習(xí)九 259
參考文獻(xiàn) 260

1. Amazing！兒童英語自然拼讀分級(jí)教材（全8冊） [王玲　編著]
2. 人工智能算法與實(shí)踐 [主編　梁琨　張翼英]
3. 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)項(xiàng)目化教程（微課版） [主編 王艷萍 安華萍]
4. 數(shù)據(jù)清洗 [黃源　劉智楊　孫大松]
5. 電路設(shè)計(jì)與PCB制作實(shí)操教程 [主編 周永宏]
6. 電路與電子技術(shù)Ⅰ—數(shù)字電子技術(shù) [主編 鄭玉珍 王淑琴]
7. Java編程基礎(chǔ)案例式教程 [主編 陳艷華 唐春蘭]
8. Python語言同步案例習(xí)題精解 [主編 肖朝暉]
9. Excel在會(huì)計(jì)工作中的應(yīng)用（第三版） [主 編 趙艷莉 耿聰慧]
10. 應(yīng)用數(shù)學(xué) [主編 劉東海 劉麗瑤]
11. Web用戶界面設(shè)計(jì)與制作 [主編 趙娟]
12. 計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)創(chuàng)新教程（模塊化+課程思政版） [主編 唐繼勇 李旭]
13. 計(jì)算機(jī)應(yīng)用技術(shù)基礎(chǔ)案例教程 [主編 周麗娟 王璐]
14. Unity應(yīng)用開發(fā)與實(shí)戰(zhàn)（微課版） [主 編 程永恒]
15. PHP程序設(shè)計(jì)項(xiàng)目化教程 [主 編 杜海穎]
16. 文學(xué)基礎(chǔ)與影視欣賞 [楊華軻 朱偉利 畢雪燕 羅玲誼]
17. 路由交換技術(shù)項(xiàng)目化教程 [主編　范國娟]
18. 信息技術(shù)基礎(chǔ)立體化教程 [鄒承俊 周洪林 劉和文 葉煜 ]
19. 大學(xué)計(jì)算機(jī)基礎(chǔ)與計(jì)算思維 [主編 閔笛 汪瑩]
20. 無線局域網(wǎng)技術(shù)與實(shí)踐 [主編 唐繼勇 劉思伶]
21. 信息技術(shù)基礎(chǔ)項(xiàng)目化教程 [主編 王宏斌 王萬麗 王芳]
22. 體育與健康 [主編 馬馳 吳雅彬]
23. 大學(xué)計(jì)算機(jī)信息素養(yǎng)（第二版） [主編 盧山]
24. 全國計(jì)算機(jī)等級(jí)考試一級(jí)（MS Office）指導(dǎo)手冊 [主編 王宏斌 孫元 禹晨]
25. 大學(xué)計(jì)算機(jī)基礎(chǔ)實(shí)驗(yàn)指導(dǎo)及習(xí)題解析 [主編 閔笛 李明]
26. 大學(xué)計(jì)算機(jī)信息素養(yǎng)實(shí)驗(yàn)指導(dǎo)（第二版） [主編 盧山]
27. 信息技術(shù)基礎(chǔ)（微課版） [主編　趙艷莉　喻林]
28. 計(jì)算機(jī)應(yīng)用基礎(chǔ)教程（Windows 10+Office 2019） [主編 聶長浪 賀秋芳 李久仲]
29. 計(jì)算機(jī)應(yīng)用基礎(chǔ)（Windows 7+Office 2016） [主編 王洪平 楊華]
30. 計(jì)算機(jī)信息素養(yǎng)基礎(chǔ)實(shí)踐教程 [王錦 姚曉杰 王立武 等 編著]