实战深度学习算法 零起点通关神经网络模型 基于Python和NumPy实现PDF|Epub|txt|kindle电子书版本网盘下载

实战深度学习算法 零起点通关神经网络模型 基于Python和NumPy实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 基础分类模型1

1.1 深度学习简介2

1.2 目标问题：空间中的二分类2

1.3 感知机模型3

1.3.1 感知机函数3

1.3.2 损失函数4

1.3.3 感知机学习算法6

1.4 算法实现8

1.4.1 环境搭建8

1.4.2 数据准备9

1.4.3 实现感知机算法11

1.5 小结13

参考文献13

第2章 第一个神经网络14

2.1 目标问题：MNIST手写数字识别15

2.1.1 数据集15

2.1.2 图像数据和图向量16

2.2 挑战：从二分类到多分类16

2.3 Softmax方法19

2.4 正确分类的独热编码20

2.5 损失函数——交叉熵21

2.6 信息熵和交叉熵21

2.6.1 信息熵21

2.6.2 交叉熵22

2.7 第一个神经网络的学习算法23

2.8 反向传播26

2.9 抽象泄漏27

2.10 算法实现28

2.10.1 数据准备28

2.10.2 实现第一个神经网络33

2.10.3 实现MINIST手写数字识别36

2.11 小结37

参考文献38

第3章 多层全连接神经网络39

3.1 第一个挑战：异或问题40

3.2 更深的神经网络——隐藏层40

3.3 第二个挑战：参数拟合的两面性42

3.4 过拟合与正则化44

3.4.1 欠拟合与过拟合44

3.4.2 正则化44

3.4.3 正则化的效果44

3.5 第三个挑战：非线性可分问题45

3.6 激活函数45

3.7 算法和结构47

3.8 算法实现50

3.8.1 数据准备50

3.8.2 实现多层全连接神经网络50

3.8.3 在数据集上验证模型53

3.9 小结54

参考文献54

第4章 卷积神经网络（CNN）55

4.1 挑战：参数量和训练成本56

4.2 卷积神经网络的结构56

4.2.1 卷积层57

4.2.2 池化层62

4.2.3 全连接层和Softmax处理63

4.3 卷积神经网络学习算法63

4.3.1 全连接层63

4.3.2 池化层反向传播64

4.3.3 卷积层反向传播65

4.4 算法实现68

4.4.1 数据准备68

4.4.2 卷积神经网络模型的原始实现69

4.5 小结76

参考文献78

第5章 卷积神经网络——算法提速和优化79

5.1 第一个挑战：卷积神经网络的运算效率80

5.2 提速改进80

5.2.1 边缘填充提速82

5.2.2 池化层提速83

5.2.3 卷积层处理85

5.3 反向传播算法实现88

5.3.1 池化层反向传播88

5.3.2 卷积层反向传播89

5.4 第二个挑战：梯度下降的幅度和方向91

5.5 递减学习率参数92

5.6 学习策略的优化方法92

5.6.1 动量方法93

5.6.2 NAG方法93

5.6.3 Adagrad方法94

5.6.4 RMSprop方法95

5.6.5 AdaDelta方法96

5.6.6 Adam方法97

5.6.7 各种优化方法的比较98

5.7 总体模型结构100

5.8 使用CNN实现MNIST手写数字识别验证101

5.9 小结102

参考文献103

第6章 批量规范化（Batch Normalization）104

6.1 挑战：深度神经网络不易训练105

6.2 批量规范化方法的初衷105

6.2.1 数据集偏移106

6.2.2 输入分布偏移106

6.2.3 内部偏移107

6.3 批量规范化的算法107

6.3.1 训练时的前向计算107

6.3.2 规范化与标准化变量108

6.3.3 推理预测时的前向计算109

6.3.4 全连接层和卷积层的批量规范化处理110

6.4 批量规范化的效果111

6.4.1 梯度传递问题111

6.4.2 饱和非线性激活问题112

6.4.3 正则化效果113

6.5 批量规范化为何有效113

6.6 批量规范化的反向传播算法114

6.7 算法实现115

6.7.1 训练时的前向传播116

6.7.2 反向传播117

6.7.3 推理预测118

6.8 调整学习率和总体结构119

6.8.1 模型结构119

6.8.2 卷积层批量规范化的实现120

6.8.3 引入批量规范化后的递减学习率121

6.9 在MNIST数据集上验证结果122

6.10 小结123

参考文献123

第7章 循环神经网络（Vanilla RNN）125

7.1 第一个挑战：序列特征的捕捉126

7.2 循环神经网络的结构126

7.2.1 单层RNN126

7.2.2 双向RNN128

7.2.3 多层RNN129

7.3 RNN前向传播算法130

7.4 RNN反向传播算法131

7.4.1 误差的反向传播131

7.4.2 激活函数的导函数和参数梯度132

7.5 第二个挑战：循环神经网络的梯度传递问题133

7.6 梯度裁剪134

7.7 算法实现135

7.8 目标问题：序列数据分析139

7.8.1 数据准备139

7.8.2 模型搭建144

7.8.3 验证结果145

7.9 小结147

参考文献147

第8章 长短时记忆网络（LSTM）——指数分析149

8.1 目标问题：投资市场的指数分析150

8.2 挑战：梯度弥散问题150

8.3 长短时记忆网络的结构150

8.4 LSTM前向传播算法152

8.5 LSTM反向传播算法153

8.5.1 误差反向传播154

8.5.2 激活函数的导函数和参数梯度155

8.6 算法实现156

8.6.1 实现LSTM单时间步的前向计算156

8.6.2 实现LSTM多层多时间步的前向计算157

8.6.3 实现LSTM单时间步的反向传播159

8.6.4 实现LSTM多层多时间步的反向传播160

8.7 实现沪深300指数分析161

8.7.1 数据准备162

8.7.2 模型构建166

8.7.3 分析结果167

8.8 小结168

参考文献169

第9章 双向门控循环单元（BiGRU）——情感分析170

9.1 目标问题：情感分析171

9.2 第一个挑战：模型的运算效率172

9.3 GRU模型的结构172

9.4 GRU前向传播算法173

9.5 GRU前向传播表达式的其他写法174

9.6 GRU反向传播算法175

9.7 GRU算法实现177

9.7.1 单时间步的前向计算177

9.7.2 实现单时间步的反向传播178

9.8 用GRU模型进行情感分析179

9.8.1 数据预处理180

9.8.2 构建情感分析模型181

9.9 首次验证182

9.10 第二个挑战：序列模型的过拟合183

9.11 Dropout正则化183

9.11.1 Dropout前向传播算法183

9.11.2 Dropout反向传播算法184

9.11.3 Dropout Rate的选择185

9.12 再次验证：GRU＋Dropout186

9.13 第三个挑战：捕捉逆序信息187

9.14 双向门控循环单元（BiGRU）187

9.15 第三次验证：BiGRU＋Dropout188

9.16 小结189

参考文献189

附录A 向量和矩阵运算191

附录B 导数和微分194

附录C 向量和矩阵导数195

附录D 概率论和数理统计201

索引205