[发明专利]一种机器翻译语料质量评估处理方法

说明书

本发明公开了一种机器翻译语料质量评估处理方法，涉及机器翻译技术领域，解决了现有技术在进行语料评价过程中，侧重于如何从给定语料中选择高质量语料，而无法对给定语料进行高效准确地评估的技术问题；本发明对根据语料特征获取原始翻译语料中子语料的语料质量评分，进而获取质量分析标签；结合目标翻译语料的冗余率和质量分析标签获取原始语料评分，根据原始语料评分实现对原始翻译语料质量的评估，当质量和噪声均在要求范围内时，判定该原始翻译语料是符合高质量要求的；本发明在获取目标翻译语料之后，通过专业人员对目标翻译语料进行抽样分析，通过合理调节设定比例可以满足不同规模目标翻译语料的需求，能够提高质量分析精度。

技术领域

本发明属于机器翻译领域，涉及一种机器翻译语料质量评价技术，具体是一种机器翻译语料质量评估处理方法。

背景技术

机器翻译过程中，语料质量和数量会对机器翻译性能带来很大影响。一般来讲语料规模的增加有助于提高翻译模型的翻译性能。但是语料规模的增大，会伴随着一定的噪声，使得翻译模型的可靠性降低。

现有技术(公开号为CN102945232A的发明专利申请)公开了一种面向统计机器翻译的训练语料质量评价及选取方法，提出了更加丰富的句对质量评价特征，为高质量语料数据的选择提供帮助。现有技术在进行语料评价过程中，侧重于如何从给定语料中选择高质量语料，而无法对给定语料进行高效准确地评估；因此，亟须一种机器翻译语料质量评估处理方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种机器翻译语料质量评估处理方法，用于解决现有技术在进行语料评价过程中，侧重于如何从给定语料中选择高质量语料，而无法对给定语料进行高效准确地评估的技术问题。

本发明对根据语料特征获取原始翻译语料中子语料的语料质量评分，进而获取目标翻译语料；结合目标翻译语料的冗余率和质量分析标签获取原始语料评分，根据原始语料评分实现对原始翻译语料质量的评估，将人工经验和分析技术结合，保证了语料质量评估的准确性。

为实现上述目的，本发明的第一方面提供了一种机器翻译语料质量评估处理方法，包括：

获取原始翻译语料，以及所述原始翻译语料对应的所述语料特征；其中，所述语料特征包括翻译质量、语言模型概率、翻译模型概率中的一种或多种；

根据所述语料特征计算获取所述原始翻译语料中子语料的语料质量评分，并根据所述语料质量评分对所述子语料进行排序，获取目标翻译语料；

基于覆盖度对所述目标翻译语料进行分析，获取冗余率；以及基于专业人员抽样分析所述目标翻译语料，判断质量是否达标，并获取质量分析标签；

将所述质量分析标签和所述冗余率联合计算，获取所述原始翻译语料对应的原始语料评分，根据所述原始语料评分进行质量评估。

优选的，在获取所述原始翻译语料之后，分析获取所述原始翻译语料对应的语料类型；其中，所述语料类型包括单语语料和平行语料；

所述单语语料对应的所述语料特征包括通过专业人员评估获取的所述语言模型概率；其中，所述语言模型概率用于表征所述子语料的流畅度。

优选的，结合所述语料特征对应的特征权重获取所述子语料的所述语料质量评分，包括：

计算获取所述语料特征对应的特征值，并标记为P_i；其中，i为所述语料特征的编号；

通过公式获取所述语料质量评分Q(c,e)；其中，(c,e)表示句对，c为源语句，e为目标语句，w_i为语料特征i对应的特征权重。

优选的，根据所述语料质量评分对所述子语料进行排序，获取所述目标翻译语料，包括：

获取若干所述子语料对应的所述语料质量评分；