[发明专利]一种面向藏汉机器翻译的藏语句法语料库的构建方法

说明书

本发明公开了一种面向藏汉机器翻译的藏语句法语料库的构建方法，包括以下步骤：A、将具有句对齐结构的平行语料库中的藏语句子进行词性标记；B、利用词对齐工具将藏语句子中的词汇进行词对齐，形成藏语词、汉语词对齐匹配形式；C、利用树库制作工具，将具有词性标记和词对齐信息的藏语词逐个进行短语标记；D、运用自增模式，扩展藏语句法语料库。本发明能够解决藏语句法语料库稀缺的问题，从而提高翻译质量。

技术领域

本发明涉及语料库构建技术领域，具体为一种面向藏汉机器翻译的藏语句法语料库的构建方法。

背景技术

藏语属于拼音文字，属汉藏语系藏缅语族藏语支。藏语和汉语、英语相比，有其自身独特的特点。首先，从语序上来看，汉语采用的是主谓宾的结构即S-V-O结构，英语采用的也是S-V-O结构，而藏语采用的是主宾谓结构，即S-O-V结构，典型的谓语后置情况。然后，从动词上来看，汉语没有时态方面的变化，英语的动词分过去时，现在时和完成时。藏语的动词有过去时，现在时，完成时和命令式。最后，从虚词上来看，在汉语和英语中，虚词起到非常重要的作用，藏语的虚词相比较汉语英语而言，无论在数量还是在起到的作用方面，更加突出，如果说汉语的语义可以以隐式的方案表示，那么，藏语的语义则是以显式的方式表示的，尤其是藏语的格助词，在藏语句子中的作用尤其重要。

机器翻译（machine translation，MT）是用计算机来自动实现不同语言之间的翻译，是跟人工翻译相对应的。机器翻译研究的就是源语言如何映射到目标语言的问题。以藏汉机器翻译为例，藏语为源语言，汉语为目标语言。藏汉机器翻译研究的是从藏语到汉语的映射。从理论上来说，机器翻译的研究涉及到计算机、语言学、数学以及逻辑学等多个学科，属于交叉学科范围，是目前世界上最具挑战的科学问题之一，具有重要的理论价值。从实践上来看，机器翻译可以解决不同语言的翻译问题，极大地解放人力资源，节省时间。

藏汉机器翻译目前还是停留在以短语为基础的翻译模型上，基于句法的模型才刚起步，很大的一个问题就是缺少句法语料库，因此，构建大规模的藏语句法树库，尤其是藏语短语句法树库是目前研究的热点。

发明内容

本发明所要解决的技术问题为提供一种面向藏汉机器翻译的藏语句法语料库的构建方法，以解决上述背景技术中提出的问题。

为解决上述技术问题，本发明提供如下技术方案：一种面向藏汉机器翻译的藏语句法语料库的构建方法，包括以下步骤：

A、将具有句对齐结构的平行语料库中的藏语句子进行词性标记；

B、利用词对齐工具将藏语句子中的词汇进行词对齐，形成藏语词、汉语词对齐匹配形式；

C、利用树库制作工具，将具有词性标记和词对齐信息的藏语词逐个进行短语标记，并逐层进行合并直至形成一个完整的句法树；

D、运用自增模式，扩展藏语句法语料库。

在上述技术方案基础上，所述步骤B中将藏语句子中的词汇进行词对齐的方法包括以下步骤：

a、运用词对齐工具训练双语句对齐平行语料库；

b、以词对齐中间结果作为藏语汉语词匹配形式，并形成具有类似括号匹配的形式；

c、将词对齐的结果以及词性标注的结构统一处理成具有括号匹配形式的内容，提供下一步处理作为输入。

在上述技术方案基础上，所述步骤C中逐层进行合并直至形成一个完整的句法树的方法包括以下步骤：

a、将具有括号匹配形式的带有词性标记和词对齐信息的各个单元输入到树库制作工具中；

b、以词性为基础，逐个将以词为单元的内容合并，并以短语标记结尾；

c、逐个合并短语结构标记为新的短语结构标记，最终合并成一个句子，并标注以句子标记结尾。