[科普中国]-计算语言学

计算语言学（Computational Linguistics）指的是这样一门学科，它通过建立形式化的数学模型，来分析、处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到以机器来模拟人的部分乃至全部语言能力的目的。1

简介计算机语言（Computer Language）指用于人与计算机之间通讯的语言。语言分为自然语言与人工语言两大类。自然语言是人类在自身发展的过程中形成的语言，是人与人之间传递信息的媒介。2

人工语言指的是人们为了某种目的而自行设计的语言。计算机语言就是人工语言的一语。计算机语言是人与计算机之间传递信息的媒介。计算机系统最大特征是指令通过一种语言传达给机器。3

为了使电子计算机进行各种工作，就需要有一套用以编写计算机程序的数字、字符和语法规划，由这些字符和语法规则组成计算机各种指令(或各种语句)。这些就是计算机能接受的语言。3

定义别名语言学的一个分支，专指利用电子计算机进行语言研究。4

计算语言学（Computational Linguistics）有时也叫计量语言学（Measuring Linguistic）,数理语言学（Mathematical Linguistics）,自然语言理解（Natural Language Understanding）,自然语言处理（Natural Language Processing）,人类语言技术（Human Language Technology）。4

产生背景电子计算机问世不久，人们便考虑到它的非数值运算问题，并选中机器翻译作为第一个非数值运算的课题。这个选择可以说开辟了计算机非数值应用无比广阔的领域，许多语言学理论和方法以及许多技术成果都是在它的基础上或启发下产生和解决的。例如，文字的输入输出设备、大存储装置、言语识别和文字识别等课题均在机器翻译研究初期便已提出。2但是由于机器翻译是一种比较高级的人工智能，至今尚未能真正或广泛付诸应用，而计算语言学的其他方面却得到了很大发展。计算机情报检索在60年代末期便已实现，通过卫星已可进行洲际检索。利用计算机进行言语统计已成常事，在统计分析的基础上编成了一大批正序、逆序词表和频率词典，建立了各种语料库，促进了计算风格学的诞生。同时还编制了大量索引和逐词索引。大字符集的信息处理问题已得到一定解决，这为中文和其他东方语文的信息处理提供了方便条件。计算机辅助教学日趋成熟与普遍。作为人工智能一个重要分支的自然语言理解也已奠定了基础，与此相联系的文字自动识别、言语识别和言语合成等项语言工程也在蓬勃开展。计算机在实验语音学、方言研究、语法分析和词典编纂等方面也得到了越来越广泛的应用。3

计算语言学之所以有这样长足的发展，是由于社会的需要。当今世界处于新技术革命时代，一个以电子计算机为基本工具的现代化语言文字信息处理系统正在世界范围内形成，这标志着高度发展的信息化社会的到来。计算语言学正是为担当这一历史使命而诞生和发展的。2

发展历史NLP于20世纪50年代早期开始于美国，当时美国害怕在空间竞赛中落败，需要翻译大量俄文科技文献，于是开发机器翻译系统，特别是俄英机器翻译系统，做法是采用词到词的翻译。由于成本高而效率低，渐渐撤去了资金支持。60年代开发的自然语言理解系统，大都没有真正意义上的语法分析，而主要依靠关键词匹配技术来识别输入句子的意义。2在这些系统中设计者事先存放了大量包含某些关键词的模式，每个模式都与一个或多个解释(又叫响应式)相对应。系统将当前输入句子同这些模式逐个进行匹配，一旦匹配成功便立即得到了这个句子的解释，而不再考虑句子中那些不属于关键词的成分对句子意义会有什么影响。进入70年代以后，一批采用句法—语义分析技术的自然语言理解系统脱颖而出，在语言分析的深度和难度方面都比早期系统有了长足的进步。这个时期的代表作是LUNAR，SHRDLU和MARGIE系统。进入80年代以来自然语言理解系统的最大特点就是实用化和工程化。其重要标志就是一批商品化的自然语言人----机接口和机器翻译系统出现在国际市场上。1著名的有美国人工智能公司(AIC)生产的英语人—机接口系统Intellect，美国弗雷公司生产的Themis人----机接口，美国加利福尼亚工学院研制的ASK接口；欧洲共同体在美国乔治敦大学开发的机译系统SYSTRAN的基础上成功地进行了英、法、德、西、意、葡等多语对的机器翻译，加拿大蒙特利尔大学开发的服务于天气预报领域的英法机译系统TAUM—METE0，日本富士通公司开发的ATLAS英日、日英机译系统，日本日立公司开发的HICATS英日、日英机译系统等等。国内“七五”期间由中国软件总公司开发的商品化英汉机译系统“译星”(TRANSTAR)，也是这方面的一个范例。3

1990年8月，在赫尔辛基召开的第13届国际计算语言学大会上，大会组织者首次提出了处理大规模真实文本的战略目标，并在会前组织了“大型语料库在建造自然语言系统中的作用”、“词典知识的获取与表示”和“电子词典”等专题讲座，预告了语言信息处理的一个新的历史阶段即将到来。2

基本内容计算语言学发展到今天，按其工作性质和复杂程度，可以归结为以下3个方面:

①自动编排：这是计算机最擅长的工作，也是计算语言学中最成熟的部分。对各种语言素材进行统计、分类、排序，编辑各种词表、索引和词典，建立语料库、术语数据库等等，已经得到广泛运用。由于这些技术已经相当成熟，因而已有现成的软件包提供服务。2

②自动分析：这是一种较复杂的语言自动处理。这种自动分析系统是根据事先存入计算机内的特定语言信息进行工作,目的在于得到预先规定的结论,例如让计算机查词典或进行语法测试，均属此类。若结论有误，就证明词典或语法不够完备，需要对原先的数据或规则加以修订或补充。这类系统一般尚处于试验研究阶段。3

③自动研究:这是一种更复杂的语言自动处理。这种自动研究系统是根据计算机内存储的一般语言信息进行工作，借助统计、比较、类推等手段，得出自己推断的结论。人工智能研究中的某些自然语言理解系统正在朝这方面努力，但目前还没有比较成熟的研究成果。4

成果计算语言学可以说是计算机和语言学相结合的产物。这种结合已经得到丰硕的成果，除了上面说到的那些应用课题以外,还表现在对语言学理论和方法的影响上。语言的定义扩展了:语言已不仅是人类重要的交际工具,而且也是人机之间的交际工具。为了满足计算机加工的要求，计算语言学最大的特点就是要求语言的形式化，因为只有形式化,才能算法化、自动化。根据这项要求，制定出一系列面向语言信息处理的自动分析方法，其中包括预示分析法、从属分析法、中介成分体系、优选语义学、扩充转移网络、概念从属论等等。2这些自动分析方法，已在机器翻译和自然语言理解的系统中得到应用，并证明有效。语言的形式化是分层进行的。语法的形式化相对来说比较简单，人们已做了不少工作；语义的形式化则是一个复杂的问题，人们进行的工作还不多。而语义形式化问题解决得好坏，将大大影响语言自动加工的成效。因此，继续发掘行之有效的形式结构分析方法和语义分析方法，研究它们之间的关系，以及探讨它们在不同系统中各自使用的限度，这是计算语言学中的重点研究课题。4

第五代计算机要求人们赋予它听觉（识别口语）和更强的视觉（自动识别文字），赋予它说话能力（合成言语）和听写能力（语音打字），同时还要求人们赋予它理解自然语言并把某种（或多种）自然语言翻译成另一种（或多种）自然语言的能力。这样，计算语言学工作者又需要提供各种物理参数、语言概率性等方面的数据和各种应用软件，以便同有关的专家、工程师一道共同解决为计算机增添“翅膀”这个重大课题，使之真正成为“万能的智能机器”。2

完成上述任务，必须靠整个语言学界的努力和合作。尽管面向机器的语言学有其独特性，在许多方面都要另起炉灶，但是实践证明：传统语言学的基础雄厚与否对解决一些新任务有很大关系，例如传统的英汉对比语言学研究得好，就会给英汉机器翻译提供很多方便。从这个意义上讲，计算语言学只有很好地吸取传统语言学的成果并加以改造，才能得到迅速发展。3

热点机器翻译是当前计算语言学研究的热点和难点。它是利用计算机实现从一种自然语言(源语言)文本到另一种或多种自然语言(目标语言)文本的翻译；而用以翻译的软件叫做机译系统。机译涉及语言学、计算机科学、认知科学、数学等多个学科，是一门前沿交叉学科。这一充满挑战的研究领域，被列为21世纪世界十大科技难题的第一位。3

不过就已有的机译成就来看，机译系统的译文质量离终极目标仍相差甚远；而机译质量是机译系统成败的关键。中国数学家、语言学家周海中教授曾在论文《机器翻译五十年》中指出：要提高机译的质量，首先要解决的是语言本身问题而不是程序设计问题；单靠若干程序来做机译系统，肯定无法提高机译质量。另外在人类尚未明了大脑是如何进行语言的模糊识别和逻辑判断的情况下，机译要想达到“信、达、雅”的程度是不可能的。1

应用计算语言学和自然语言信息处理研究的核心问题是语言的自动理解（Language Understanding）和自动生成（Language Generation）。前者从句子表层的词语符号串识别句子的句法结构，判断成分之间的语义关系，最终弄清句子表达的意思；后者从要表达的意思出发选择词语，根据词语间的语义关系构造各个成分之间的语义结构和句法结构，最终造出符合语法和逻辑的句子。3

计算语言学的研究也像其他学科一样，有科学研究与技术研究两个层次。科学研究的目的是发现语言的内在规律、探索语言理解和生成的计算方法、建设语言信息处理的基础资源；而技术研究则借助应用目标来驱动，根据社会的实际需要，设计和开发实用的语言信息处理系统。3

自然语言信息处理的应用目标是使人与计算机之间用自然语言进行交流。具体说，是建立各种处理自然语言的计算机应用软件系统，譬如：机器翻译、自然语言理解、语音自动识别与合成、文字自动识别、计算机辅助教学、信息检索、文本自动分类、自动文摘，还有文本中的信息提取、互联网上的智能搜索，以及各种电子词典和术语数据库。2

随着互联网的广泛普及，语言信息处理的社会需求越来越大，人们迫切需要用自动化的手段处理海量的语言信息。然而，由于学科理论发展的局限和汉语本身的复杂性，目前我国计算语言学理论和方法的研究还不能为开发汉语信息处理应用系统提供足够的支持。4多年来国内计算语言学和自然语言处理学科发展的特点之一是，应用型研究和实用系统开发的目标比较明确，投入相对较多，也取得了一些成果；而基础理论和方法的研究则相对薄弱。1998年-2002年期间的研究情况和发展态势依然如此。在本文上述的各种应用目标中，研究力量比较集中的项目有：文本信息检索、文献自动分类、自动文摘、语音自动识别与合成、机器翻译，还有文本信息提取和过滤。另外，语言资源的建设和基于语料库的语言分析方法也受到了格外关注，取得了比较快的进展。下面先简要叙述计算语言学和语言信息处理领域有代表性的基础研究，再介绍面向应用的研究和实用系统的研制，然后谈谈语言资源的建设，最后介绍有关的学术会议和期刊、论著。这些工作都以书面语为研究对象，针对口语的研究将作为语音识别与合成专题另文介绍。2

本词条内容贡献者为:

李宗秀 - 副教授 - 黑龙江财经学院