[发明专利]双语语料句对齐方法、装置、可读存储介质和计算机设备

说明书

本申请涉及一种双语语料句对齐方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待对齐平行文本及原文文本的语种类型和译文文本的语种类型；对待对齐平行文本进行预处理，获得待对齐平行句对；从通过SentencePiece算法训练的单语分词模型组中调用与原文文本和译文文本的语种类型对应的单语分词模型，进行分词处理，获得待对齐原文的句片段组和待对齐译文的句片段组；根据预设的格式处理方式对待对齐原文和待对齐译文的句片段组进行格式处理，获得双语句对组，调用句对齐工具，根据双语词典，对双语句对组进行句对齐处理，获得句对齐平行语料。通过SentencePiece算法训练的各个语种的单语分词模型，降低了代码的耦合度与维护难度，降低了维护成本。

技术领域

本申请涉及计算机技术领域，特别是涉及一种双语语料句对齐方法、装置、计算机可读存储介质和计算机设备。

背景技术

在对篇章级对齐的双语平行语料中进行句级别对齐时，一种可行的做法是利用句长信息及词汇信息判断两种语言平行语料中各个句子的相似程度。

譬如，如果两个句子的长度相差较大，则两个句子的相似度较低，为平行句对的可能性也就较小。又或者，如果两个句子同时包含相同的数字，或包含相同的字母串，则两个句子的相似程度较高，两者为平行句对的可能性也就越高。以及，当两句话中包含同一个概念在两种语言中的单词，则两种语言的相似度也更高，譬如英文句子包含“Framework”而中文包含“框架”。基于此对齐逻辑，通用的处理流程是先对两种语言的句对分别进行令牌化，令牌化操作等价于对句子进行分词操作，亦即将连贯的一句话拆解为一个个的词语，并提供预先生成或抽取好的双语词典作为辅助信息进行对齐。如果未能提供已有的双语词典，则可以使用句长法对语料进行初步对齐后，再对已经初步对齐的语料抽取双语词典，利用双语词典进行第二次的对齐。

但针对多个语种的待对齐语料进行对齐时，需要在一台服务器上部署各个语种对应的分词工具，以实现抽取不同语种的双语词典，对不同语种的待对齐语料进行对齐。以Python为例，中文的可以使用jieba，日语的可以使用mecab，韩语则可以使用mecab的ko扩展等。不同分词工具，不仅依赖于不同的运行环境(比如mecab需要额外的C++支持，mecab的ko拓展更是只可以运行在python3.7版本下)，而且还需要各自加载自身不同的依赖词典文件。因此，使得代码的耦合程度大幅度提高，维护成本较高。

发明内容

基于此，有必要针对双语语料句对齐的维护成本高的问题，提供一种双语语料句对齐方法、装置、计算机可读存储介质和计算机设备。

一种双语语料句对齐方法，包括：

获取待对齐平行文本及所述待对齐平行文本中原文文本的语种类型和译文文本的语种类型；

对所述待对齐平行文本进行预处理，获得待对齐平行句对；

从单语分词模型组中调用与所述原文文本的语种类型对应的单语分词模型，对所述待对齐平行句对中的原文文本进行分词处理，获得待对齐原文的句片段组；

从所述单语分词模型组中调用与所述译文文本的语种类型对应的单语分词模型，对所述待对齐平行句对中的译文文本进行分词处理，获得待对齐译文的句片段组；

根据预设的格式处理方式对所述待对齐原文的句片段组和所述待对齐译文的句片段组进行格式处理，获得双语句对组；

基于所述预设的格式处理方式，获取与所述原文文本的语种类型和所述译文文本的语种类型对应的双语词典；

调用句对齐工具，根据所述双语词典，对所述双语句对组进行句对齐处理，获得句对齐平行语料；

所述单语分词模型的训练方式包括：

获取与待训练单语分词模型的语种类型对应单语数据；

对所述单语数据进行预处理，获得单语数据样本；