"√系统梳理近年来机器翻译发展的技术脉络、技术落地的思路
√概述了机器翻译的基础内容、统计机器翻译模型、神经机器翻译模型
√涵盖了前沿技术，如模型结构优化、低资源机器翻译、多模态机器翻译等，涉及大量实践经验
√帮助读者建立完整的知识体系"

利用机器翻译技术实现不同语言之间的自由交流始终是最令人期待的计算机应用之一。本书全面回顾了近30年来机器翻译的技术发展历程，遵循机器翻译技术的发展脉络，对基于统计和基于端到端深度学习的机器翻译关键技术及原理进行了深入讲解，力求做到简洁明了、全面透彻、图文结合。此外，本书着重介绍了近年来机器翻译领域的科研热点及其结果，旨在帮助读者全面了解机器翻译的前沿研究进展和关键技术。本书可供计算机相关专业高年级本科生及研究生学习使用，也可作为自然语言处理，特别是机器翻译相关研究人员的案边手册。

第1部分机器翻译基础
1机器翻译简介.2
1.1机器翻译的概念.2
1.2机器翻译简史.4
1.2.1人工翻译.4
1.2.2机器翻译的萌芽.5
1.2.3机器翻译的受挫.6
1.2.4机器翻译的快速成长.7
1.2.5机器翻译的爆发.8
1.3机器翻译现状及挑战.9
1.4基于规则的机器翻译方法.12
1.4.1规则的定义.12
1.4.2转换法.13
1.4.3基于中间语言的方法.15
1.4.4基于规则的方法的优缺点.16
1.5数据驱动的机器翻译方法.16
1.5.1基于实例的机器翻译.16
1.5.2统计机器翻译.17
1.5.3神经机器翻译.18
1.5.4对比分析.19
1.6推荐学习资源.20
1.6.1经典书籍.20
1.6.2相关学术会议.21
2统计语言建模基础.24
2.1概率论基础.24
2.1.1随机变量和概率.24
2.1.2联合概率、条件概率和边缘概率.26
2.1.3链式法则.27
2.1.4贝叶斯法则.28
2.1.5KL距离和熵.29
2.2掷骰子游戏.31
2.3n-gram语言模型.34
2.3.1建模.35
2.3.2参数估计和平滑算法.37
2.3.3语言模型的评价.42
2.4预测与搜索.43
2.4.1搜索问题的建模.44
2.4.2经典搜索.47
2.4.3局部搜索.50
2.5小结及拓展阅读.52
3词法分析和语法分析基础.54
3.1问题概述.54
3.2中文分词.56
3.2.1基于词典的分词方法.57
3.2.2基于统计的分词方法.58
3.3命名实体识别.60
3.3.1序列标注任务.60
3.3.2基于特征的统计学习.62
3.3.3基于概率图模型的方法.63
3.3.4基于分类器的方法.69
3.4句法分析.71
3.4.1句法树.71
3.4.2上下文无关文法.73
3.4.3规则和推导的概率.77
3.5小结及拓展阅读.79
4翻译质量评价.81
4.1译文质量评价面临的挑战.81
4.2人工评价.84
4.2.1评价策略.84
4.2.2打分标准.85
4.3有参考答案的自动评价.86
4.3.1基于词串比对的评价方法.86
4.3.2基于词对齐的评价方法.89
4.3.3基于检测点的评价方法.93
4.3.4多策略融合的评价方法.94
4.3.5译文多样性.94
4.3.6相关性与显著性.98
4.4无参考答案的自动评价.101
4.4.1质量评估任务.101
4.4.2构建质量评估模型.106
4.4.3质量评估的应用场景.107
4.5小结及拓展阅读.108
第2部分统计机器翻译
5基于词的机器翻译建模.111
5.1词在翻译中的作用.111
5.2一个简单实例.113
5.2.1翻译的流程.113
5.2.2统计机器翻译的基本框架.115
5.2.3单词级翻译模型.116
5.2.4句子级翻译模型.119
5.2.5解码.122
5.3噪声信道模型.125
5.4统计机器翻译的3个基本问题.127
5.4.1词对齐.128
5.4.2基于词对齐的翻译模型.129
5.4.3基于词对齐的翻译实例.130
5.5IBM模型1.131
5.5.1IBM模型1的建模.131
5.5.2解码及计算优化.133
5.5.3训练.134
5.6小结及拓展阅读.140
6基于扭曲度和繁衍率的模型.142
6.1基于扭曲度的模型.142
6.1.1什么是扭曲度.142
6.1.2IBM模型2.144
6.1.3隐马尔可夫模型.145
6.2基于繁衍率的模型.146
6.2.1什么是繁衍率.146
6.2.2IBM模型3.149
6.2.3IBM模型4.151
6.2.4IBM模型5.152
6.3解码和训练.154
6.4问题分析.154
6.4.1词对齐及对称化.154
6.4.2“缺陷”问题.155
6.4.3句子长度.156
6.4.4其他问题.156
6.5小结及拓展阅读.157
7基于短语的模型.158
7.1翻译中的短语信息.158
7.1.1词的翻译带来的问题.158
7.1.2更大粒度的翻译单元.159
7.1.3机器翻译中的短语.161
7.2数学建模.164
7.2.1基于翻译推导的建模.164
7.2.2对数线性模型.166
7.2.3判别模型中的特征.167
7.2.4搭建模型的基本流程.167
7.3短语抽取.168
7.3.1与词对齐一致的短语.168
7.3.2获取词对齐.169
7.3.3度量双语短语质量.170
7.4翻译调序建模.172
7.4.1基于距离的调序.172
7.4.2基于方向的调序.173
7.4.3基于分类的调序.174
7.5翻译特征.175
7.6最小错误率训练.175
7.7栈解码.179
7.7.1翻译候选匹配.180
7.7.2翻译假设扩展.181
7.7.3剪枝.181
7.7.4解码中的栈结构.183
7.8小结及拓展阅读.184
8基于句法的模型.186
8.1翻译中句法信息的使用.186
8.2基于层次短语的模型.188
8.2.1同步上下文无关文法.190
8.2.2层次短语规则抽取.194
8.2.3翻译特征.196
8.2.4CKY解码.197
8.2.5立方剪枝.200
8.3基于语言学句法的模型.203
8.3.1基于句法的翻译模型分类.205
8.3.2基于树结构的文法.206
8.3.3树到串翻译规则抽取.212
8.3.4树到树翻译规则抽取.220
8.3.5句法翻译模型的特征.223
8.3.6基于超图的推导空间表示.224
8.3.7基于树的解码vs基于串的解码.227
8.4小结及拓展阅读.231
第3部分神经机器翻译
9神经网络和神经语言建模.234
9.1深度学习与神经网络.234
9.1.1发展简史.235
9.1.2为什么需要深度学习.237
9.2神经网络基础.239
9.2.1线性代数基础.239
9.2.2神经元和感知机.244
9.2.3多层神经网络.248
9.2.4函数拟合能力.252
9.3神经网络的张量实现.256
9.3.1张量及其计算.256
9.3.2张量的物理存储形式.259
9.3.3张量的实现手段.259
9.3.4前向传播与计算图.260
9.4神经网络的参数训练.262
9.4.1损失函数.262
9.4.2基于梯度的参数优化.264
9.4.3参数更新的并行化策略.272
9.4.4梯度消失、梯度爆炸和稳定性训练.273
9.4.5过拟合.275
9.4.6反向传播.276
9.5神经语言模型.281
9.5.1基于前馈神经网络的语言模型.281
9.5.2对于长序列的建模.284
9.5.3单词表示模型.286
9.5.4句子表示模型.288
9.6小结及拓展阅读.290
10基于循环神经网络的模型.292
10.1神经机器翻译的发展简史.292
10.1.1神经机器翻译的起源.294
10.1.2神经机器翻译的品质.296
10.1.3神经机器翻译的优势.298
10.2编码器-解码器框架.300
10.2.1框架结构.300
10.2.2表示学习.301
10.2.3简单的运行实例.302
10.2.4机器翻译范式的对比.303
10.3基于循环神经网络的翻译建模.304
10.3.1建模.305
10.3.2长短时记忆网络.308
10.3.3门控循环单元.310
10.3.4双向模型.311
10.3.5多层神经网络.312
10.4注意力机制.313
10.4.1翻译中的注意力机制.314
10.4.2上下文向量的计算.315
10.4.3注意力机制的解读.318
10.4.4实例：GNMT.320
10.5训练及推断.321
10.5.1训练.321
10.5.2推断.327
10.6小结及拓展阅读.331
11基于卷积神经网络的模型.332
11.1卷积神经网络.332
11.1.1卷积核与卷积操作.333
11.1.2步长与填充.335
11.1.3池化.336
11.1.4面向序列的卷积操作.337
11.2基于卷积神经网络的翻译建模.339
11.2.1位置编码.341
11.2.2门控卷积神经网络.341
11.2.3残差网络.343
11.2.4多步注意力机制.344
11.2.5训练与推断.346
11.3局部模型的改进.347
11.3.1深度可分离卷积.347
11.3.2轻量卷积和动态卷积.349
11.4小结及拓展阅读.351
12基于自注意力的模型.352
12.1自注意力机制.352
12.2Transformer模型.354
12.2.1Transformer的优势.354
12.2.2总体结构.355
12.3位置编码.357
12.4基于点乘的多头注意力机制.359
12.4.1点乘注意力机制.359
12.4.2多头注意力机制.362
12.4.3掩码操作.363
12.5残差网络和层标准化.363
12.6前馈全连接网络子层.365
12.7训练.366
12.8推断.368
12.9小结及拓展阅读.369
第4部分机器翻译前沿
13神经机器翻译模型训练.371
13.1开放词表.371
13.1.1大词表和未登录词问题.372
13.1.2子词.372
13.1.3双字节编码.373
13.1.4其他方法.375
13.2正则化.376
13.2.1L1/L2正则化.377
13.2.2标签平滑.378
13.2.3Dropout.379
13.3对抗样本训练.381
13.3.1对抗样本与对抗攻击.382
13.3.2基于黑盒攻击的方法.383
13.3.3基于白盒攻击的方法.384
13.4学习策略.385
13.4.1极大似然估计的问题.385
13.4.2非Teacher-forcing方法.386
13.4.3强化学习方法.388
13.5知识蒸馏.392
13.5.1什么是知识蒸馏.392
13.5.2知识蒸馏的基本方法.393
13.5.3机器翻译中的知识蒸馏.395
13.6基于样本价值的学习.396
13.6.1数据选择.396
13.6.2课程学习.399
13.6.3持续学习.401
13.7小结及拓展阅读.401
14神经机器翻译模型推断.403
14.1面临的挑战.403
14.2基本问题.405
14.2.1推断方向.405
14.2.2译文长度控制.406
14.2.3搜索终止条件.408
14.2.4译文多样性.408
14.2.5搜索错误.409
14.3轻量模型.410
14.3.1输出层的词汇选择.411
14.3.2消除冗余计算.411
14.3.3轻量解码器及小模型.413
14.3.4批量推断.414
14.3.5低精度运算.414
14.4非自回归翻译.416
14.4.1自回归vs非自回归.416
14.4.2非自回归翻译模型的结构.417
14.4.3更好的训练目标.420
14.4.4引入自回归模块.421
14.4.5基于迭代精化的非自回归翻译模型.423
14.5多模型集成.424
14.5.1假设选择.424
14.5.2局部预测融合.426
14.5.3译文重组.427
14.6小结与拓展阅读.428
15神经机器翻译模型结构优化.430
15.1注意力机制的改进.430
15.1.1局部信息建模.430
15.1.2多分支结构.437
15.1.3引入循环机制.439
15.1.4高效的自注意力模型.440
15.2神经网络连接优化及深层模型.441
15.2.1Post-NormvsPre-Norm.442
15.2.2高效信息传递.444
15.2.3面向深层模型的参数初始化策略.448
15.2.4深层模型的训练加速.451
15.2.5深层模型的健壮性训练.454
15.3基于句法的神经机器翻译模型.456
15.3.1在编码器中使用句法信息.456
15.3.2在解码器中使用句法信息.461
15.4基于结构搜索的翻译模型优化.463
15.4.1网络结构搜索.464
15.4.2网络结构搜索的基本方法.465
15.4.3机器翻译任务下的网络结构搜索.468
15.5小结及拓展阅读.470
16低资源神经机器翻译.471
16.1数据的有效使用.471
16.1.1数据增强.472
16.1.2基于语言模型的方法.477
16.2双向翻译模型.482
16.2.1双向训练.482
16.2.2对偶学习.483
16.3多语言翻译模型.486
16.3.1基于枢轴语言的方法.486
16.3.2基于知识蒸馏的方法.487
16.3.3基于迁移学习的方法.488
16.4无监督机器翻译.491
16.4.1无监督词典归纳.491
16.4.2无监督统计机器翻译.494
16.4.3无监督神经机器翻译.495
16.5领域适应.499
16.5.1基于数据的方法.500
16.5.2基于模型的方法.501
16.6小结及拓展阅读.503
17多模态、多层次机器翻译.504
17.1机器翻译需要更多的上下文.504
17.2语音翻译.505
17.2.1音频处理.505
17.2.2级联语音翻译.507
17.2.3端到端语音翻译.508
17.3图像翻译.513
17.3.1基于图像增强的文本翻译.514
17.3.2图像到文本的翻译.516
17.3.3图像、文本到图像的翻译.519
17.4篇章级翻译.519
17.4.1篇章级翻译的挑战.519
17.4.2篇章级翻译的评价.520
17.4.3篇章级翻译的建模.521
17.4.4在推断阶段结合篇章上下文.525
17.5小结及拓展阅读.526
18机器翻译应用技术.528
18.1机器翻译的应用并不简单.528
18.2增量式模型优化.529
18.3交互式机器翻译.530
18.4翻译结果的可干预性.532
18.5小设备机器翻译.533
18.6机器翻译系统的部署.534
18.7机器翻译的应用场景.535
随笔.538
后记.543
附录A.545
A.1统计机器翻译开源系统.545
A.2神经机器翻译开源系统.546
附录B.548
B.1公开评测任务.548
B.2基准数据集.550
B.3平行语料.551
附录C.552
C.1IBM模型2的训练方法.552
C.2IBM模型3的训练方法.553
C.3IBM模型4的训练方法.555
C.4IBM模型5的训练方法.556
参考文献.558
索引.616