[发明专利]评价、选择例句对,构建通用例句库,机器翻译的方法及装置

说明书

技术领域

本发明涉及信息处理技术，具体地，涉及对进行了对齐的双 语语料库中的例句对进行评价，从进行了对齐的双语语料库中选择例句对， 利用进行了对齐的双语语料库构建通用例句库，以及机器翻译的技术。

背景技术

基于实例的机器翻译(Example-based Machine Translation， EBMT)技术的基本思想是通过修改与输入句子相似的例句对来生成译文。 该技术首先搜索进行了对齐的双语语料库，以查找与输入句子相似的匹配 例句对，然后识别出输入句子和匹配例句对之间的不同之处，最后EBMT 模型消除例句对中的不同从而生成译文。EBMT技术的具体细节可以参见 Harold Somers，Review Article：Example-based Machine Translation， Machine Translation，v.14n.2，p.113-157，June1999，在此通过参考引入其 整个内容。

从EBMT技术的基本思想可以看出，译文主要来源于匹配例 句对，因此，用于EBMT模型的例句对质量会在很大程度上影响EBMT 模型的性能。

然而，在现有的双语语料库中，存在大量的不规范例句对， 例如，习惯用语，意译例句对等等，这些例句对包含了大量的不正式的语 法信息。从EBMT技术的基本思想来看，这些例句对不适合被EBMT模 型修改来生成输入句子的译文。

此外，EBMT技术受到硬件条件的限制(例如内存、处理器 速度等)，用于EBMT模型的例句库的规模不能太大。

因此，需要一种为EBMT模型选择通用、可靠的例句对的方 法。

发明内容

为了解决上述现有技术中存在的问题，本发明提供了对进行 了对齐的双语语料库中的例句对进行评价的方法，从进行了对齐的双语语 料库中选择例句对的方法，利用进行了对齐的双语语料库构建通用例句库 的方法，机器翻译的方法，对进行了对齐的双语语料库中的例句对进行评 价的装置，从进行了对齐的双语语料库中选择例句对的装置，利用进行了 对齐的双语语料库构建通用例句库的装置和机器翻译的装置。

根据本发明的一个方面，提供了一种对进行了对齐的双语语 料库中的例句对进行评价的方法，上述双语语料库包括多对相对应的第一 语种和第二语种的例句以及每对例句之间的对齐信息，上述方法包括以下 步骤：根据给定的例句对中的第一语种的例句在上述双语语料库中的覆盖 率和/或上述给定的例句对中的上述第一语种的例句和第二语种的例句之 间的一致性，计算上述给定的例句对的得分；其中，基于上述计算出的得 分，对上述给定的例句对进行评价。

根据本发明的另一个方面，提供了一种从进行了对齐的双语 语料库中选择例句对的方法，上述双语语料库包括多对相对应的第一语种 和第二语种的例句以及每对例句之间的对齐信息，上述方法包括以下步骤： 根据上述对进行了对齐的双语语料库中的例句对进行评价的方法，计算给 定的例句对的得分；以及将上述计算出的得分与给定的阈值进行比较；其 中，如果上述得分大于上述阈值，则将上述给定的例句对选出。

根据本发明的另一个方面，提供了一种利用进行了对齐的双 语语料库构建通用例句库的方法，上述双语语料库包括多对相对应的第一 语种和第二语种的例句以及每对例句之间的对齐信息，上述方法包括：步 骤1：根据上述对进行了对齐的双语语料库中的例句对进行评价的方法， 计算上述双语语料库中的每一个例句对的得分；步骤2：根据上述得分的 降序对上述双语语料库中的例句对进行排序；以及步骤3：确定上述步骤2 排序后的第1个例句对的得分是否大于给定的阈值，其中如果上述第1个 例句对的得分大于上述给定的阈值，则将上述第1个例句对加入上述通用 例句库。

根据本发明的另一个方面，提供了一种机器翻译的方法，包 括以下步骤：为待翻译的第一语种的句子，在根据上述从进行了对齐的双 语语料库中选择例句对的方法选择出的例句对或根据上述利用进行了对齐 的双语语料库构建通用例句库的方法构建的通用例句库中查找相似的第一 语种的例句；为上述待翻译的第一语种的句子与上述相似的第一语种的例 句之间的区别部分准备相应的译文；以及将与上述相似的第一语种的例句 相对应的第二语种的例句以及上述区别部分的译文组合，生成参考译文。