[发明专利]一种多语言的术语识别和双语术语对齐方法

说明书

一种多语言的术语识别和双语术语对齐方法，包括如下步骤：步骤S1：数据集获取；步骤S2：分词标注；步骤S3：模型训练，输出每个词是否为术语；步骤S4：词向量加载；步骤S5：词向量相似度计算；步骤S6：词对齐：步骤S7：术语对齐；根据词对齐结果，查询对应的术语译文。本发明克服了现有技术的不足，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本发明支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。

技术领域

本发明涉及人工智能技术领域，具体涉及一种多语言的术语识别和双语术语对齐方法。

背景技术

现有方法的基本思路是基于术语库，识别原文中的术语，通过机器翻译将原文术语翻译为目标语言，利用机翻术语在译文中查询最匹配的字符串，例如识别原文“我爱中国”中的“中国”，使用机器翻译模型将“中国”翻译成“China”，利用“China”匹配译文中最相似的字符串。现有方法有以下缺陷：(1)术语识别依赖术语库，无法识别术语库以外的术语，尤其是多语言业务场景下，多语言术语库时间和人力成本较高；(2)双语术语对齐依赖机翻质量，会出现机翻术语无法在译文中匹配相似字符串的情况，而且在多语言业务场景下，需要部署不同语言方向的机翻模型或者调用外部机翻引擎，运行和维护成本高。

发明内容

针对现有技术的不足，本发明提供了一种多语言的术语识别和双语术语对齐方法，克服了现有技术的不足，设计合理，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本发明支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。

为实现以上目的，本发明通过以下技术方案予以实现：

一种多语言的术语识别和双语术语对齐方法，包括以下步骤：

步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个含有术语的句子；

步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；

步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；

步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；根据分词结果，使用预训练模型作为文本特征提取器，输出词向量；

步骤S5：词向量相似度计算：

词向量相似度是语义相似度和位置相似度的乘积(公式1)，语义相似度为原文句向量和译文句向量的余弦距离(公式2)，位置相似度为原文的句子位置和译文的句子位置的相对距离(公式3)：

S_ij＝SEM_ij*POS_ij (1)

其中，S_ij表示原文第i个词向量和译文第j个词向量的相似度，SEM_ij表示原文第i个词向量和译文第j个词向量的语义相似度，POS_ij表示原文第i个词向量和译文第j个词向量的位置相似度，v_i表示原文第i个词向量，v_j表示译文第j个词向量，l_s表示原文的词数，l_t表示译文的词数，α为超参数，经过实验取0.5，限制位置相似度的权重；

步骤S6：词对齐：

原文词向量和译文词向量使用双向最优匹配，，即当原文第i个词向量的相似度最高是译文第j个词向量，同时译文第j个词向量的相似度最高是原文第i个词向量时，第i个原文词向量与第j个译文词向量匹配(公式4)：