基于深度学习的自然语言处理PDF|Epub|txt|kindle电子书版本网盘下载

基于深度学习的自然语言处理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 引言1

1.1 自然语言处理的挑战1

1.2 神经网络和深度学习2

1.3 自然语言处理中的深度学习3

1.4 本书的覆盖面和组织结构5

1.5 本书未覆盖的内容7

1.6 术语7

1.7 数学符号7

注释8

第一部分 有监督分类与前馈神经网络13

第2章 学习基础与线性模型13

2.1 有监督学习和参数化函数13

2.2 训练集、测试集和验证集14

2.3 线性模型16

2.3.1 二分类16

2.3.2 对数线性二分类20

2.3.3 多分类20

2.4 表示21

2.5 独热和稠密向量表示22

2.6 对数线性多分类23

2.7 训练和最优化24

2.7.1 损失函数25

2.7.2 正则化27

2.8 基于梯度的最优化29

2.8.1 随机梯度下降29

2.8.2 实例31

2.8.3 其他训练方法32

第3章 从线性模型到多层感知器34

3.1 线性模型的局限性：异或问题34

3.2 非线性输入转换34

3.3 核方法35

3.4 可训练的映射函数35

第4章 前馈神经网络37

4.1 一个关于大脑的比喻37

4.2 数学表示38

4.3 表达能力40

4.4 常见的非线性函数41

4.5 损失函数42

4.6 正则化与丢弃法42

4.7 相似和距离层43

4.8 嵌入层44

第5章 神经网络训练45

5.1 计算图的抽象概念45

5.1.1 前向计算47

5.1.2 反向计算（导数、反向传播）47

5.1.3 软件48

5.1.4 实现流程51

5.1.5 网络构成51

5.2 实践经验51

5.2.1 优化算法的选择52

5.2.2 初始化52

5.2.3 重启与集成52

5.2.4 梯度消失与梯度爆炸53

5.2.5 饱和神经元与死神经元53

5.2.6 随机打乱54

5.2.7 学习率54

5.2.8 minibatch54

第二部分 处理自然语言数据57

第6章 文本特征构造57

6.1 NLP分类问题中的拓扑结构57

6.2 NLP问题中的特征59

6.2.1 直接可观测特征59

6.2.2 可推断的语言学特征62

6.2.3 核心特征与组合特征66

6.2.4 n元组特征66

6.2.5 分布特征67

第7章 NLP特征的案例分析69

7.1 文本分类：语言识别69

7.2 文本分类：主题分类69

7.3 文本分类：作者归属70

7.4 上下文中的单词：词性标注71

7.5 上下文中的单词：命名实体识别72

7.6 上下文中单词的语言特征：介词词义消歧74

7.7 上下文中单词的关系：弧分解分析76

第8章 从文本特征到输入78

8.1 编码分类特征78

8.1.1 独热编码78

8.1.2 稠密编码（特征嵌入）79

8.1.3 稠密向量与独热表示80

8.2 组合稠密向量81

8.2.1 基于窗口的特征81

8.2.2 可变特征数目：连续词袋82

8.3 独热和稠密向量间的关系82

8.4 杂项83

8.4.1 距离与位置特征83

8.4.2 补齐、未登录词和词丢弃84

8.4.3 特征组合85

8.4.4 向量共享86

8.4.5 维度86

8.4.6 嵌入的词表86

8.4.7 网络的输出87

8.5 例子：词性标注87

8.6 例子：弧分解分析89

第9章 语言模型91

9.1 语言模型任务91

9.2 语言模型评估：困惑度92

9.3 语言模型的传统方法93

9.3.1 延伸阅读94

9.3.2 传统语言模型的限制94

9.4 神经语言模型95

9.5 使用语言模型进行生成97

9.6 副产品：词的表示98

第10章 预训练的词表示100

10.1 随机初始化100

10.2 有监督的特定任务的预训练100

10.3 无监督的预训练101

10.4 词嵌入算法102

10.4.1 分布式假设和词表示103

10.4.2 从神经语言模型到分布式表示107

10.4.3 词语联系110

10.4.4 其他算法111

10.5 上下文的选择112

10.5.1 窗口方法112

10.5.2 句子、段落或文档113

10.5.3 句法窗口113

10.5.4 多语种114

10.5.5 基于字符级别和子词的表示115

10.6 处理多字单元和字变形116

10.7 分布式方法的限制117

第11章 使用词嵌入119

11.1 词向量的获取119

11.2 词的相似度119

11.3 词聚类120

11.4 寻找相似词120

11.5 同中选异121

11.6 短文档相似度121

11.7 词的类比122

11.8 改装和映射122

11.9 实用性和陷阱124

第12章 案例分析：一种用于句子意义推理的前馈结构125

12.1 自然语言推理与SNLI数据集125

12.2 文本相似网络126

第三部分 特殊的结构131

第13章 n元语法探测器：卷积神经网络131

13.1 基础卷积＋池化132

13.1.1 文本上的一维卷积133

13.1.2 向量池化135

13.1.3 变体137

13.2 其他选择：特征哈希137

13.3 层次化卷积138

第14章 循环神经网络：序列和栈建模142

14.1 RNN抽象描述142

14.2 RNN的训练145

14.3 RNN常见使用模式145

14.3.1 接收器145

14.3.2 编码器146

14.3.3 传感器146

14.4 双向RNN147

14.5 堆叠RNN149

14.6 用于表示栈的RNN150

14.7 文献阅读的注意事项151

第15章 实际的循环神经网络结构153

15.1 作为RNN的CBOW153

15.2 简单RNN153

15.3 门结构154

15.3.1 长短期记忆网络156

15.3.2 门限循环单元157

15.4 其他变体158

15.5 应用到RNN的丢弃机制159

第16章 通过循环网络建模160

16.1 接收器160

16.1.1 情感分类器160

16.1.2 主谓一致语法检查162

16.2 作为特征提取器的RNN164

16.2.1 词性标注164

16.2.2 RNN-CNN文本分类166

16.2.3 弧分解依存句法分析167

第17章 条件生成169

17.1 RNN生成器169

17.2 条件生成（编码器-解码器）170

17.2.1 序列到序列模型172

17.2.2 应用173

17.2.3 其他条件上下文176

17.3 无监督的句子相似性177

17.4 结合注意力机制的条件生成178

17.4.1 计算复杂性180

17.4.2 可解释性181

17.5 自然语言处理中基于注意力机制的模型182

17.5.1 机器翻译182

17.5.2 形态屈折184

17.5.3 句法分析184

第四部分 其他主题187

第18章 用递归神经网络对树建模187

18.1 形式化定义187

18.2 扩展和变体190

18.3 递归神经网络的训练190

18.4 一种简单的替代——线性化树191

18.5 前景191

第19章 结构化输出预测193

19.1 基于搜索的结构化预测193

19.1.1 基于线性模型的结构化预测193

19.1.2 非线性结构化预测194

19.1.3 概率目标函数（CRF）195

19.1.4 近似搜索196

19.1.5 重排序197

19.1.6 参考阅读197

19.2 贪心结构化预测198

19.3 条件生成与结构化输出预测199

19.4 实例200

19.4.1 基于搜索的结构化预测：一阶依存句法分析200

19.4.2 基于Neural-CRF的命名实体识别201

19.4.3 基于柱搜索的NER-CRF近似204

第20章 级联、多任务与半监督学习206

20.1 模型级联206

20.2 多任务学习210

20.2.1 多任务设置下的训练212

20.2.2 选择性共享212

20.2.3 作为多任务学习的词嵌入预训练213

20.2.4 条件生成中的多任务学习214

20.2.5 作为正则的多任务学习214

20.2.6 注意事项214

20.3 半监督学习215

20.4 实例216

20.4.1 眼动预测与句子压缩216

20.4.2 弧标注与句法分析217

20.4.3 介词词义消歧与介词翻译预测218

20.4.4 条件生成：多语言机器翻译、句法分析以及图像描述生成219

20.5 前景220

第21章 结论221

21.1 我们学到了什么221

21.2 未来的挑战221

参考文献223