自然语言处理技术的产生可以追溯到20世纪50年代，它是一门集语言学、数学、计算机科学和认知科学等于一体的综合性交叉学科。为了使这一领域的广大学者，尤其是青年学生，全面了解中文信息处理的技术现状，进一步推动中文信息处理及其相关学科的快速发展，编者力求通过本书将这一领域的最新技术和理论方法全面、系统地介绍给广大读者。

本书全面介绍了统计自然语言处理的基本概念、理论方法和最新研究进展，内容包括形式语言与自动机及其在自然语言处理中的应用、语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘和信息抽取、口语信息处理与人机对话系统等，既有对基础知识和理论模型的介绍，也有对相关问题的研究背景、实现方法和技术现状的详细阐述。

本书可作为高等院校计算机、信息技术等相关专业的高年级本科生或研究生的教材或参考书，也可供从事自然语言处理、数据挖掘和人工智能等研究的相关人员参考。

第1章 绪论 1

第2章 预备知识14

第3章 形式语言与自动机28

第4章 语料库与词汇知识库48

第5章 语言模型74

第6章 隐马尔可夫模型94

第7章 汉语自动分词与词性标注105

第8章 句法分析147

第9章 语义消歧190

第10章 统计机器翻译201

第11章 语音翻译323

第12章 文本分类340

第13章 信息检索与问答系统354

第14章 自动文摘与信息抽取379

第15章 口语信息处理与人机对话系统390

附录 项目作业

名词术语索引

参考文献434