[发明专利]一种数据处理方法、装置和用于数据处理的装置

说明书

本发明实施例提供了一种数据处理方法、装置和用于数据处理的装置。其中的方法具体包括：根据翻译模型，确定语料库中语料对中第一语料对应第二语料的概率值；其中，所述第一语料与所述第二语料之间具有翻译关系；所述翻译模型为依据语料对样本训练得到；依据所述概率值，对所述语料库中的语料对进行过滤。本发明实施例可以过滤更多语义方面错误差异较小的语料对，进而可以提高过滤的准确性，以及提高机器翻译系统的翻译质量。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和用于语翻译的装置。

背景技术

随着国际信息交流的日益增长，用户对高质量的机器翻译的需求也与日俱增。机器翻译系统的翻译质量很大程度上取决于双语语料库的质量，双语语料库中双语语料的数据量越多、且双语语料的质量越高，则机器翻译系统的翻译质量也就越高。

然而，在双语语料库的建立之初，双语翻译语料库中可能就存在一些错误的语料对。此外，随着互联网技术的兴起，互联网上出现的大量语料也逐渐积累到双语语料库中，由于互联网上的语料质量参差不齐，导致双语语料库中可能包含更多错误的语料对。因此，需要对双语语料库中错误的语料对进行过滤，以提高机器翻译系统的翻译质量。

目前，通常采用基于规则的方式，对双语语料库中错误的语料对进行过滤。然而，基于规则的方式仅能过滤出错误较为明显的语料对，例如语料对中两个句子的长度是否差异较大，或者，语料对中两个句子中的词语是否相对应等。基于规则的过滤方式难以过滤出错误差异较小的语料对，例如，对于语料对(“我们在吃饭。”，“In the morning，we eat.”)，由于该语料对中的两个句子的长度差异较小，并且，两个句子中的词语也具有对应关系。然而，正确的语料对应该为(“我们在吃饭。”，“We are eating.”)或者(“早上，我们吃。”，“Inthe morning，we eat.”)。使用基于规则的过滤方式，无法识别该错误的语料对，导致过滤的准确性不高，进而影响机器翻译系统的翻译质量。

发明内容

本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以提高过滤双语语料库的准确性，进而可以提高机器翻译系统的翻译质量。

为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：

根据翻译模型，确定语料库中语料对中第一语料对应第二语料的概率值；其中，所述第一语料与所述第二语料之间具有翻译关系；所述翻译模型为依据语料对样本训练得到；

依据所述概率值，对所述语料库中的语料对进行过滤。

另一方面，本发明实施例公开了一种数据处理装置，包括：

概率确定模块，用于根据翻译模型，确定语料库中语料对中第一语料对应第二语料的概率值；其中，所述第一语料与所述第二语料之间具有翻译关系；所述翻译模型为依据语料对样本训练得到；

过滤模块，用于依据所述概率值，对所述语料库中的语料对进行过滤。

再一方面，本发明实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

根据翻译模型，确定语料库中语料对中第一语料对应第二语料的概率值；其中，所述第一语料与所述第二语料之间具有翻译关系；所述翻译模型为依据语料对样本训练得到；

依据所述概率值，对所述语料库中的语料对进行过滤。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。

本发明实施例包括以下优点：