[发明专利]利用句义结构特征的句子相似度计算方法

摘要

本发明为解决社交短文本句子相似度计算的特征稀疏问题，提出利用句义结构特征的句子相似度计算方法。首先基于句义结构模型分析句子语义，并利用主题模型挖掘潜在的主题知识，根据主题‑词语分布扩充句子特征，得到基于句子本身特征的句子向量，然后引入Paragraph Vector深度学习模型学习句子上下文特征，得到基于上下文信息的句子向量，最后加权由两种句子向量计算得到的句子相似度。本发明通过深度挖掘句子的语义信息和上下文信息，更加全面、准确地刻画了句子之间的内在联系，提高了相似度计算的准确率。

主权项

利用句义结构特征的句子相似度计算方法，所述方法包括以下步骤：步骤1，对短文本集进行预处理，先进行分句，然后进行分词和词性标注，去停用词；步骤2，结合句义结构特征和主题‑词语分布特征，对句子进行特征扩充，并计算句子相似度；步骤2.1，在步骤1的基础上，对每条句子进行句义结构分析，提取句子的话题、述题、基本项、一般项；步骤2.2，利用LDA(Latent Dirichlet Allocation)主题模型对短文本集进行分析，提取文本中的主题和主题下的词语分布，得到主题‑词语矩阵；步骤2.3，根据话题对句子进行特征扩充，得到基于话题的句子向量；步骤2.4，根据述题对句子进行特征扩充，得到基于述题的句子向量；步骤2.5，分别基于步骤2.3和2.4得到的两种句子向量计算句子相似度，对两个相似度值进行加权，得到句子间的最终相似度值，具体计算公式如下，sim1(SA,SB)=ω*SAt→·SBt→|SAt→||SBt→|+(1-ω)*SAc→·SBc→|SAc→||SBc→|]]>其中，SA和SB代表任意两个句子，sim1(SA,SB)表示两个句子的相似度值，和分别表示句子SA和SB的基于话题的句子向量，和分别表示句子SA和SB的表示基于述题的句子向量，ω为可调参数，取值范围为[0,1]；步骤3，将经过步骤1预处理后的所有句子输入到PV(Paragraph Vector)深度学习模型，利用PV模型学习文本特征，得到句子向量，并基于该句子向量计算句子间的余弦距离作为句子间的相似度，计算公式如下，sim2(SA,SB)=SAp→·SBp→|SAp→||SBp→|]]>其中，SA和SB代表任意两个句子，sim2(SA,SB)表示两个句子的相似度值，和分别表示用PV模型学习得到的句子向量；步骤4，将步骤2和步骤3得到的句子间的相似度值进行线性加权，通过网格法调节参数，找到一组最优的参数取值，输出最终的句子对之间的相似度值。