[发明专利]一种基于多特征融合的短文本相似度计算方法

摘要

本发明公开了一种基于多特征融合的短文本相似度计算方法，该方法包括以下步骤：首先，设计HTI方法提取短文本的词频特征，其次，利用已有的word2vec的Skip_gram训练模型提取短文本的语法特征，然后，设计HSBM模型在语义维度上对词频和语法特征进行有机融合，最后，设计MFSM模型计算将融合结果向量化，并计算短文本之间的相似度。本发明从多个维度提取短文本的特征，因此能有效地提高短文本相似度计算精度。

主权项

一种基于多特征融合的短文本相似度计算方法，其特征在于，包括：(1)获取待计算短文本集合D中的文本数量|M|、词典中不重复特征项数量为|N|以及主题数量|K|，通过词频、语法和语义的三维特征提取和融合过程得到短文本‑主题矩阵S；1.1)对短文本集合D进行短文本词频特征提取；1.2)对短文本集合D进行短文本语法特征提取，得到词向量集合；1.3)短文本语义融合：首先，获取词频和语法特征融合的权重矩阵W′；然后，在由W′中三元元素<特征项t，短文本d，融合权重w′>组成的共现二元对上利用BTM建模；最后，通过计算得到短文本的主题分布概率，即得到短文本的语义融合结果短文本‑主题矩阵S；(2)将短文本‑主题矩阵S转化为短文本向量集合Z，初始化相似度计算结果矩阵Y；(3)不重复选取集合Z中的短文本向量d1，如果集合Z中没有可选取的短文本，转到步骤(6)；(4)不重复选取集合Z中的短文本向量d2，如果集合Z中没有可选取的短文本，转到步骤(3)；(5)计算短文本d1和d2之间的相似度，将结果记录到相似度结果矩阵Y中，转到步骤(4)；(6)得到短文本相似度结果矩阵Y。