冯志伟：语料库是语言常识的靠得住起源_瑞科上海翻译公司

　　起首庆祝第三届汉语中介语书面语语料库国际集会正在北京召开。汉语中介语书面语语料库是获得语言常识，发明语言偏误，进步语言习得程度的紧张手腕。
　　我是一个自然语言处置惩罚的研究者，早正在1957年，我便关于语言研讨的产生了浓重的乐趣，空想着攻破人类的语言障碍，厥后我晓得了美国正在1954年便研制成功俄英机器翻译，遭到极大的鼓励，决计投身机器翻译研讨，实现本人的迷信空想。1979年-1981年我正在法国格勒诺布尔文科医科大学留学时，曾研制过一个把汉语自动天翻译为法语、英语、日语、俄语跟德语5种外语的机器翻译体系，叫做FAJRA体系，提出了多叉多标识表记标帜树形图模子（multiple-branched and multiple-labeled tree model MMT），这是一个基于短语的机器翻译模子（phrase-based machine translation PBMT）。

　　其时我采取的方式，是基于语言划定规矩的理性主义方式。我用了3年工夫，编写了汉语剖析划定规矩5000条摆布，法语、英语、日语、俄语跟德语的转换规则跟天生划定规矩各3000条摆布，一共20000多条划定规矩，另外，我借体例了若干部机械可读的、代码化的机器翻译辞书，因为工作量年夜，我天天事情工夫皆跨越10小时，扎扎实实苦干了3年，于1981年11月正在IBM 4341大型计算机上输出了法语、英语、日语、俄语跟德语等5种语言的机器翻译译文。这是世界上第一个把汉语自动天翻译成多种外语的机器翻译体系。
　　这个体系研制成功之后，正在有限范围的语言规模内，翻译的正确率借比力下，而当扩展语言规模时，关于随意率性的汉语句子，翻译的正确率只能到达70%摆布，如许的机器翻译体系明显是难以实用的。我正在1982年回国之后，又接踵研制了法汉、英汉、日汉跟德汉机器翻译体系，翻译正确率皆不跨越70%。
　　我消耗了如斯极大的精神，却失掉了很没有幻想的成果正在严重的磨练眼前，我正在少年时代的机器翻译空想受到了挫败。我不失掉几胜利的履历，却留下了大批失利的经验。我为此觉得迷惑，有一种难言的失落感。
　　正当我愁云满面之际，1993年7月正在日本神户召开的第四届机器翻译高层集会（MT Summit IV）上，英国有名学者哈钦斯（J. Hutchins）正在他的特约讲述中指出，自1989年以来，机器翻译的开展进入了一个新纪元。这个新纪元的紧张标记是，正在基于划定规矩的技巧中引入了语料库方式。这类树立正在大规模（large-scale）真实文本（authentic text）处置惩罚根底上的机器翻译，是机器翻译研讨史上的一场反动，它会把自然语言的计算机处置惩罚推向一个簇新的阶段。
　　把语料库方式引入到机器翻译中，转变了机器翻译翻译研究者获得常识的手腕，因为语料库是大规模的真实文本，人们便可以失掉加倍美满的统计性的语言常识，是以，也便大大天进步了机器翻译的质量，放慢了机器翻译体系的研制周期。
　　语言常识事实正在那里？语言常识虽然存在于语法书里，存在于各种类型的辞书里，存在于汗牛充栋的语言学论文里，可是，加倍周全的、加倍客观的语言常识应该存在于大规模的真实文本语料库里，语料库是语言常识最靠得住的起源。
　　语料库转变了机器翻译的运气，基于短语的机器翻译开展成为统计机器翻译（ statistical machine translation，SMT），机器翻译走向了商品化跟实用化的新阶段。
　　跟着互联网的疾速开展，咱们进入了年夜数据期间。数据挖掘成为计算机科学的一个紧张研讨范畴，数据挖掘中采取的机械自动学习的方式，关于统计机器翻译存在紧张的代价。
　　机械自动学习的方式次要有三种类型：有指点的学习、无指点的学习、半指点的学习。
　　有指点的学习实际上是关于数据停止分类，起首利用事先界说好的种别或领域标识表记标帜关于数据的实例停止标注，作为锻炼数据，机械依据这些标注好的锻炼数据停止自动学习，再依据学习失掉的常识关于新的数据停止分类。因为用来学习的锻炼数据是用事先界说好的标识表记标帜停止过标注的，机械学习的进程是正在这些锻炼数据的指点下停止的，以是叫做有指点的学习。
　　正在无指点的学习中，用来学习的数据不利用事先界说好的种别或领域标识表记标帜停止过标注，要利用机械学习的算法去自动天发明潜藏正在数据中的特点、布局或纪律。这类无指点学习的一个关键技术是聚类，聚类技巧依据数据实例的相同点或相异面，自动天把它们聚类为分歧的组合。
　　有指点的学习要求事先人工标注大批的数据实例，须要支付极大的人工的劳动量，省力而又费时，为了削减人工标注的劳动量，可以同时从标注过的数据实例跟不标注过的数据实例中停止学习，标注过的数据实例的鸠合可以比力小，而不标注过的数据实例的鸠合可以很大，如许的模子叫做半指点的学习。
　　机械自动学习的这些方式曾经成熟，并且普遍天使用于统计机器翻译的研讨中，那便从根本上转变了传统的获得语言常识的手腕，从大规模的双语对齐语料库中，经由过程机械自动学习的方式，来获得语言的翻译信息，关于机器翻译的开展存在革命性的意思。
　　现阶段，基于多层神经网络的、以大数据作为输入的深度学习（deep learning）方式引入到机器翻译中。这是一种新型的机械自动学习。深度学习的锻炼方法是无监视的特点学习，利用多层神经网络的方式。这类多层神经网络是非线性的，可以反复应用中间层的计较单位，削减参数，计算机从海量的年夜数据中可以自动天发生模子的特点跟算法。
　　词向量是多层神经网络的一种紧张方式，词向量把单词映射为一个流动维度的向量，分歧的词向量组成词向量语义空间，正在这个词向量语义空间中，语义类似的单词距离较近。
　　深度学习研究者米克罗夫（Tomas Mikolov）发明，若是用“意大利”这个单词的属性向量去减去“罗马”这个单词的属性向量，再加上“巴黎”这个单词的属性向量，咱们便能失掉“法国”这个单词或许附近的属性向量。近似天，若是用“国王”的属性向量减去“汉子”的属性向量，再加上“女人”的属性向量，便能失掉“王后”的属性向量。那十分令人振奋的成果，由于米克罗夫事先并不刻意天做如许的支配。
　　2007年以来，采取深度学习的方式，以大规模的双语对齐的书面语语料库作为语言常识的起源，从双语对齐的书面语语料库中获得翻译常识，统计机器翻译又进一步开展成了神经机器翻译（neural machine translation NMT），书面语神经机器翻译正确率曾经跨越了 90%，针对一样平常书面语的神经机器翻译基本上曾经可以付诸实用了。

　　可是，正在这类神经机器翻译中，语言之间的翻译细节仍是一个黑箱（black box），只管翻译的成果不错，咱们关于此中的语言处置惩罚机制依然是没有清晰的，正在语言学实际上，咱们借难以做出迷信的注释。
　　比来，深度学习向神经网络中融入了影象机制，把基于理性主义的常识驱动与基于经验主义的数据驱动联合起来，架起了符号主义与连接主义之间的桥梁。那应该是此后神经机器翻译开展的新标的目的。
　　可以看出，因为正在机器翻译中引入了语料库技巧，曾经取得了极大的先进，这是使人可喜的。不论是口语文本语料库仍是书面语语料库，皆是机器翻译得以开展先进的关键性因素。语料库关于机器翻译的开展存在无足轻重的作用。
　　现阶段，汉语中介语语料库扶植曾经取得了很大的结果。北京语言大学、南京师范大学、鲁东大学、暨南大学、中山大学、上海交通大学、厦门大学、台湾师范大学前后树立了分歧范围的汉语中介语语料库。香港中文大学、新疆医科大学借树立了汉语书面语习得语料库。
　　正在这些中介语语料库的根底上，研究者们停止了行之有效的研讨，结果斐然。第三届汉语中介语书面语语料库国际集会为交换这些结果供给了一个很好的交换时机，我衷心庆祝此次国际集会胜利。

本文摘自冯志伟正在第三届汉语中介语书面语语料库国际集会上的致辞。