深度學習—卷積神經(jīng)網(wǎng)絡算法原理與應用

體系完整、通俗易懂，系統(tǒng)講述卷積神經(jīng)網(wǎng)絡基本原理

詳細闡述前向傳播、反向傳播、優(yōu)化算法

系統(tǒng)介紹卷積神經(jīng)網(wǎng)絡和自編碼器的常用算法

詳盡分析算法實例應用

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)。自2006年深度學習概念被提出以來，其以極高的發(fā)展速度在各行各業(yè)得到了廣泛的應用。基于深度學習的新技術、新算法不斷涌現(xiàn)。本書以深度學習中卷積神經(jīng)網(wǎng)絡算法原理為基礎，對最近幾年提出的卷積神經(jīng)網(wǎng)絡進行系統(tǒng)介紹。

本書力求體系完整、通俗易懂，書中系統(tǒng)地講述了卷積神經(jīng)網(wǎng)絡的基本原理，從前向傳播、反向傳播、優(yōu)化算法等方面詳細闡述。同時對卷積神經(jīng)網(wǎng)絡和自編碼器的常用算法進行介紹。針對算法實例應用進行分析。

本書資料搜集工作：袁國亮搜集整理第6章，呂朦搜集整理第4章、第8章，劉文洲搜集整理第5章，鄭旭、萬溪洲、郭釗搜集整理第2章、第3章、第7章、第8章。

本書在內(nèi)容上注重精選、結(jié)合實際、突出應用。主要面向人工智能及相關專業(yè)的高年級本科生及研究生，也可做為從事深度學習的軟件工程師的參考書目。

由于編者水平有限，加之時間倉促，書中難免存在不當和謬誤之處，懇請有關專家和廣大讀者不吝賜教。

編 者

2019年1月

第1章 緒論 1
1.1 深度學習 1
1.1.1 概述 1
1.1.2 基本思想 2
1.1.3 基本分類 2
1.2 卷積神經(jīng)網(wǎng)絡技術的發(fā)展與應用 4
1.2.1 卷積神經(jīng)網(wǎng)絡的發(fā)展 4
1.2.2 卷積神經(jīng)網(wǎng)絡的應用 5
1.3 自編碼器的發(fā)展及其應用 5
1.3.1 自編碼器的發(fā)展 5
1.3.2 自編碼器的應用 5
第2章 相關數(shù)學基礎知識 7
2.1 矩陣 7
2.1.1 基本概念 7
2.1.2 矩陣運算 8
2.2 范數(shù) 11
2.2.1 范數(shù)的定義 11
2.2.2 范數(shù)的分類及性質(zhì) 11
2.3 卷積運算 13
2.3.1 定義 13
2.3.2 多維數(shù)組的卷積 14
2.4 激活函數(shù) 15
2.4.1 線性激活函數(shù) 15
2.4.2 非線性激活函數(shù) 16
2.5 信息熵 24
2.5.1 定義 24
2.5.2 條件熵 25
2.5.3 相對熵 26
2.5.4 交叉熵 26
習題 27
第3章 神經(jīng)網(wǎng)絡 28
3.1 人工神經(jīng)網(wǎng)絡 28
3.1.1 人工神經(jīng)元模型 28
3.1.2 人工神經(jīng)網(wǎng)絡結(jié)構(gòu) 29
3.2 BP神經(jīng)網(wǎng)絡 30
3.2.1 原理 30
3.2.2 網(wǎng)絡結(jié)構(gòu) 31
3.2.3 BP神經(jīng)算法原理 32
3.2.4 信號傳遞過程的實現(xiàn) 34
3.2.5 算法分析 35
習題 36
第4章 卷積神經(jīng)網(wǎng)絡 37
4.1 原理 37
4.1.1 動機 37
4.1.2 卷積神經(jīng)網(wǎng)絡特點 37
4.2 LeNet-5 38
4.2.1 網(wǎng)絡總體結(jié)構(gòu) 38
4.2.2 分層結(jié)構(gòu) 39
4.3 反向傳播 43
4.3.1 全連接的反向過程 43
4.3.2 卷積的反向過程 43
4.3.3 池化的反向過程 46
4.3.4 輸出層反向傳播 47
4.3.5 權(quán)值更新 48
習題 49
第5章 卷積神經(jīng)網(wǎng)絡擴展機制 50
5.1 注意力機制 50
5.1.1 注意機制的分類 50
5.1.2 深度學習中的注意機制 51
5.2 卷積變體 53
5.2.1 組卷積 53
5.2.2 深度可分離卷積 55
5.2.3 膨脹卷積 56
5.2.4 全卷積網(wǎng)絡 57
習題 59
第6章 自編碼器網(wǎng)絡 60
6.1 相關概念 60
6.1.1 稀疏性 60
6.1.2 稀疏編碼 60
6.2 自編碼器概述 61
6.3 自編碼器原理 62
6.4 自編碼器的拓展網(wǎng)絡 65
6.4.1 稀疏自編碼 65
6.4.2 棧式自編碼 67
6.4.3 去噪自編碼 69
6.4.4 壓縮自編碼 70
6.5 自編碼器的編程實現(xiàn) 72
習題 72
第7章 卷積神經(jīng)網(wǎng)絡的優(yōu)化 73
7.1 正則化與歸一化 73
7.1.1 概念 73
7.1.2 參數(shù)范數(shù)懲罰 74
7.1.3 Dropout 75
7.1.4 歸一化 77
7.2 基于梯度的優(yōu)化方法 78
7.2.1 基本算法 79
7.2.2 自適應學習率算法 84
習題 87
第8章 卷積神經(jīng)網(wǎng)絡的典型結(jié)構(gòu) 88
8.1 概述 88
8.2 AlexNet網(wǎng)絡 88
8.2.1 AlexNet基本框架 88
8.2.2 AlexNet數(shù)據(jù)處理 89
8.3 GoogLenet網(wǎng)絡 93
8.3.1 背景 93
8.3.2 Inception V1 93
8.3.3 Inception V2與V3 94
8.3.4 Inception V4 95
8.3.5 Xception 96
8.4 ResNet網(wǎng)絡結(jié)構(gòu) 97
8.4.1 ResNet網(wǎng)絡 97
8.4.2 ResNeXt 98
8.5 ShuffleNet網(wǎng)絡結(jié)構(gòu) 100
8.5.1 網(wǎng)絡簡介 100
8.5.2 模型結(jié)構(gòu) 100
8.5.3 ShuffleNet V2 102
8.6 DenseNet網(wǎng)絡結(jié)構(gòu) 102
8.6.1 Dense block 103
8.6.2 整體結(jié)構(gòu) 103
8.7 數(shù)據(jù)集介紹 104
8.7.1 圖像分類數(shù)據(jù)集 104
8.7.2 語義分割數(shù)據(jù)集 109
第9章 卷積神經(jīng)網(wǎng)絡的壓縮 112
9.1 核的稀疏化 112
9.2 剪枝 113
9.2.1 剪枝的概念 113
9.2.2 剪枝的類型 113
9.3 模型量化 114
9.3.1 量化轉(zhuǎn)換 114
9.3.2 向量化 115
9.4 模型蒸餾 116
參考文獻 119
附錄 125
BP神經(jīng)網(wǎng)絡實現(xiàn)人臉識別程序 125
自編碼器程序 129
AlexNet程序 130
GoogLeNet程序 133
ResNeXt程序 136
DenseNet程序 141

1. 零基礎玩轉(zhuǎn)國產(chǎn)大模型DeepSeek [徐永冰 張帥 編著]
2. 網(wǎng)絡工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統(tǒng)項目管理師考試32小時通關（適用第4版考綱） [薛大龍]
4. 信息系統(tǒng)管理工程師考試32小時通關（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測實訓 [洪曉江 達則曉麗 錢波]
6. 科技信息檢索與論文寫作實用教程 [李振華]
7. 傳統(tǒng)山水畫論解讀與實踐 [陳鈉 著]
8. Python數(shù)據(jù)庫編程 [主編 殷樹友 邢 翀]
9. 計算機基礎實訓指導 [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術應用（數(shù)字教材） [主編 胡娜 楊國勇 晏廷榮]
11. Vienna整流器技術 [桂存兵 著]
12. 變頻器與伺服應用 [陳剛 葉云飛]
13. 物聯(lián)網(wǎng)工程設計與實踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運營與管理 [鐘肖英 陳瀟]
16. Java面向?qū)ο蟪绦蛟O計 [主編 姜春磊 陳虹潔]
17. 信息技術基礎（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學生職業(yè)發(fā)展與就業(yè)指導 [主編　劉志堅]
20. 高級辦公應用項目教程 [主編 屈晶 趙成麗]
21. 微信小程序開發(fā)項目實戰(zhàn)（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業(yè)檔案工作實戰(zhàn)寶典百問百答 [華俊 盧秀英 邵甜甜 著]
23. 計算機網(wǎng)絡原理及應用 [主編 唐繼勇 葉坤 孫夢娜]
24. 大學生創(chuàng)業(yè)基礎 [主編 王麗莉 王 楊]
25. 船舶輔機 [主編 王連海 于洋 姜淑翠]
26. 大學生就業(yè)指導 [主編 王麗莉 董宴廷]
27. 系統(tǒng)架構(gòu)設計師章節(jié)習題與考點特訓 [主編 薛大龍 鄒月平]
28. 高校學生工作探索與實踐 [郭亮 著]
29. 大學生情商管理 [方雄 著]
30. 2023年長沙市會展業(yè)發(fā)展報告 [主編 周棟良]