[发明专利]一种多语言的术语识别和双语术语对齐方法

权利要求书

1.一种多语言的术语识别和双语术语对齐方法，其特征在于，包括以下步骤：

步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个含有术语的句子；

步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；

步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；

步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；根据分词结果，使用预训练模型作为文本特征提取器，输出词向量；

步骤S5：词向量相似度计算：

词向量相似度是语义相似度和位置相似度的乘积(公式1)，语义相似度为原文句向量和译文句向量的余弦距离(公式2)，位置相似度为原文的句子位置和译文的句子位置的相对距离(公式3)：

S_ij＝SEM_ij*POS_ij (1)

其中，S_ij表示原文第i个词向量和译文第j个词向量的相似度，SEM_ij表示原文第i个词向量和译文第j个词向量的语义相似度，POS_ij表示原文第i个词向量和译文第j个词向量的位置相似度，v_i表示原文第i个词向量，v_j表示译文第j个词向量，l_s表示原文的词数，l_t表示译文的词数，α为超参数，经过实验取0.5，限制位置相似度的权重；

步骤S6：词对齐：

原文词向量和译文词向量使用双向最优匹配，，即当原文第i个词向量的相似度最高是译文第j个词向量，同时译文第j个词向量的相似度最高是原文第i个词向量时，第i个原文词向量与第j个译文词向量匹配(公式4)：

其中，M_ij为词对匹配矩阵，1为匹配，0为不匹配；

步骤S7：术语对齐；使用多语言术语识别模型识别原文中的术语，根据词对齐结果，查询对应的术语译文。

2.根据权利要求1所述的一种多语言的术语识别和双语术语对齐方法，其特征在于：所述步骤S3模型训练中，训练集和测试集的比例为8：2。

3.根据权利要求1所述的一种多语言的术语识别和双语术语对齐方法，其特征在于：所述步骤S6词对齐中，还包括：

步骤S61：双向最优匹配无法一次性将所有的原文句子和译文句子，为了匹配剩下的句向量，需要在每一次双向最优匹配后更新相似度矩阵S'_ij(公式5)；

S'_ij＝(1-M_ij)*S_ij (5)

将已匹配的词对(M_ij＝1)的相似度变为0(S'_ij＝0)，进行下一次双向最优匹配，并不断重复公式4和公式5的操作，直到所有原文和译文单词匹配。