[发明专利]术语标准化方法及装置

说明书

本发明公开一种术语标准化方法及装置，方法包括：利用标准化术语语料库和标准术语集合构建三元组组成的训练数据集，三元组包括锚元、正元和负元，锚元为标准术语或不规范的术语，正元为与锚元对应同一标准术语的术语，负元为与锚元对应的标准术语不同的术语；利用训练数据集训练表示学习模型，获得训练好的表示学习模型；利用训练好的表示学习模型获得待标准化术语与标准术语集合中的每一术语的术语嵌入式表达向量，并计算待标准化术语与每一个标准术语的术语嵌入式表达向量的相似度，将相似度高于相似度阈值或相似度排行最高的标准术语作为所述待标准化术语的标准化结果。本发明可获得标准术语，适用各种语言，可获得其他语言下更合适的表述。

技术领域

本发明涉及一种信息技术领域，尤其涉及一种关于表示学习的术语标准化方法及装置。

背景技术

现有的术语标准化技术主要分为两类，基于规则或字符串匹配的术语标准化技术和基于机器学习的术语标准化技术。基于规则或字符串匹配的术语标准化技术将待标准化术语或经规则处理后，与已标准化术语或标准术语表述进行直接的字符串匹配，主要的技术包括基于Levenshtein距离的字符串匹配、最大公共子串匹配、模糊匹配等。基于机器学习的术语标准化技术主要是将术语标准化任务转化为多分类任务，将每一种标准术语视为一种类别，建立多分类模型，并利用已标准化的术语语料库训练模型，该模型对术语的分类是预测其标准术语，主要的方法有支持向量机、决策树和神经网络模型等。本发明中的新的术语标准化技术属于基于机器学习的术语标准化技术，是一种表示学习方法，核心思想是通过已标准化的术语语料库和标准术语集合学习到字词和术语的嵌入式表达向量，并且对应同一标准术语的术语具有相似的嵌入式表达向量。

发明内容

为解决以上问题，本发明公开一种术语标准化方法，包括：

获得标准化术语语料库和标准术语集合，其中，标准术语集合包含标准术语和与所述标准术语对应的编码，

标准化术语语料库是包含不规范术语以及与所述不规范术语的含义相同的标准术语或所述编码的组合；

利用标准化术语语料库和标准术语集合构建训练数据集，所述训练数据集包括多个训练样本，每个训练样本都为一个三元组的形式，所述三元组由锚元、正元和负元组成，其中，锚元为标准术语或不规范术语，正元为与锚元对应同一标准术语的术语，负元为设定数量的与锚元对应的标准术语不同的术语；

利用所述训练数据集训练表示学习模型，获得训练好的表示学习模型；

利用所述训练好的表示学习模型获得待标准化术语和标准术语集合中的每一术语的术语嵌入式表达向量，并计算待标准化术语与每一个标准术语的术语嵌入式表达向量的相似度，将相似度最高的标准术语作为所述待标准化术语的标准化结果。

可选地，还包括术语预处理，所述术语预处理是指将术语中的最小语言单位用空格隔开，对标准化术语语料库和待标准化术语都进行术语预处理。

可选地，所述表示学习模型包括依次连接的字词表达向量嵌入层、投影层、术语表达向量输出层，所述字词表达向量嵌入层用于产生术语所包含的字词嵌入式表达向量，投影层用于将字词嵌入式表达向量投射到特征空间，术语表达向量输出层用于将投射到特征空间的字词嵌入式表达向量组合输出术语的术语嵌入式表达向量。

可选地，所述利用所述训练数据集训练表示学习模型包括：

计算每个三元组中，锚元与正元的相似度，以及锚元与负元中的每一术语的相似度，优化损失函数使锚元和正元的相似度高，并且锚元和负元中的每一术语的相似度低，直至模型损失收敛，则训练完成。

可选地，所述术语嵌入式表达向量是该术语的所有最小语言单位的字词嵌入式表达向量的加和。

可选地，所述相似度取术语嵌入式表达向量之间的余弦相似度。

本发明还公开一种术语标准化装置，包括：