[发明专利]一种基于词序加权的句子相似度计算方法

摘要

本发明提供了一种基于词序加权的句子相似度计算方法。包括：获取形式为Label1i,Sen1i语料集A，训练得出语料集A中所有词语的词向量模型；构建形式为Label2j,Sen2j的测试语料集B，采用增量训练方式获得语料集B中Sen2j所有词语的词向量模型；根据语料集B所获取的词向量模型采用词序加权方式获取语句Sen1i和Sen2j的句向量SenVec1i和SenVec2j；逐一计算一条Sen2j与每个语句Sen1i的相似度，将相似度最高的语句Sen1i对应的Label1i与Label2j比较，一致则正确，否则以Sen1i,Sen2j存储至训练语料集C；将训练语料集C进一步处理获取新的词向量模型，以进行下次语句的相似度计算。通过上述步骤提高了句子相似度计算的准确率。

主权项

1.一种基于词序加权的句子相似度计算方法，其特征在于，包括以下步骤：1)利用网络爬虫获取语料集A，根据语义对语料集A中的所有语句添加分类标签，得到型如语料，其中Sen1i为语料集A中的单句语句，Label1i为Sen1i对应的类别标签，然后利用Word2Vec算法，训练得出语料A中所有词语的词向量模型；2)利用步骤1)中获取的语料集A，构建测试语料集B，测试语料集B中形式为,其中Label2j为语料集A中的一类别，Sen2j属于Label2j类别且与Label2j类别在语料集A中所对应的语句语义相似，然后结合步骤1)中获取的词向量模型采用增量训练方式，利用Word2Vec算法获得语料集B中所有词语的词向量模型；3)从步骤1)中语料集A中取得一对，对Sen11进行分词处理，并利用步骤2)中所获取的词向量模型取得每个对应分词结果的词向量V1k,k表示词语位于语句Sen11中的位置；4)根据步骤3)中获取的语句Sen11中每个词语对应的词向量V1k，以及每个词语位于Sen11中的位置，计算每个词语的词序权重值weight，并根据词向量V1k和对应的词序权重值weight获取新的带权重的词向量V1k’；5)根据步骤4)中获得的带权重的词向量V1k’获取语句Sen11的句向量SenVec11；6)重复步骤3)至5)，计算语料集A中所有句子的句向量SenVec1i；7)重复步骤3)至5)，计算语料集B中所有句子的句向量SenVec2j；8)根据步骤6)和步骤7)获取的句向量，依次选取测试语料集B中的语句Sen2j及其对应的句向量SenVec2j，分别计算其与语料集A中每个语句Sen1i的相似度，选取相似度排序最高的语句Sen1i对应的Label1i与Label2j比较，若一致则表示正确，否则则将结果以存储至训练语料集C；9)将步骤8)中获得的训练语料集C按照SemEval‑2017的相似度标注，然后采用LSTM回归模型训练获取新的词向量，利用新训练的词向量更新步骤2)中的词向量模型，然后执行步骤3)，进行下一次语句的相似度计算。