[发明专利]一种基于多特征融合的短文本相似度计算方法

权利要求书

1.一种基于多特征融合的短文本相似度计算方法，其特征在于，包括：

(1)获取待计算短文本集合D中的文本数量|M|、词典中不重复特征项数量为|N|以及主题数量|K|，通过词频、语法和语义的三维特征提取和融合过程得到短文本-主题矩阵S；

1.1)对短文本集合D进行短文本词频特征提取；

1.2)对短文本集合D进行短文本语法特征提取，得到词向量集合；

1.3)短文本语义融合：

首先，获取词频和语法特征融合的权重矩阵W′；然后，在由W′中三元元素<特征项t，短文本d，融合权重w′>组成的共现二元对上利用BTM建模；最后，通过计算得到短文本的主题分布概率，即得到短文本的语义融合结果短文本-主题矩阵S；

(2)将短文本-主题矩阵S转化为短文本向量集合Z，初始化相似度计算结果矩阵Y；

(3)不重复选取集合Z中的短文本向量d₁，如果集合Z中没有可选取的短文本，转到步骤(6)；

(4)不重复选取集合Z中的短文本向量d₂，如果集合Z中没有可选取的短文本，转到步骤(3)；

(5)计算短文本d₁和d₂之间的相似度，将结果记录到相似度结果矩阵Y中，转到步骤(4)；

(6)得到短文本相似度结果矩阵Y。

2.根据权利要求1所述的短文本相似度计算方法，其特征在于，所述步骤1.1)中获取短文本集合D中的文本数量为|M|，词典中不重复特征项数量为|N|，采用HTI方法计算权值矩阵，具体步骤如下：

1.1.1)：初始化特征项索引i和短文本索引j的值为0，初始化权值矩阵W为零矩阵；

1.1.2)：统计计算特征项t_i在短文本d_j中出现的频率并赋值给TF(t_i,d_j)；

1.1.3)：计算特征项局部因子，采用的计算公式为：

localT(t_i,d_j)＝log(TF(t_i,d_j)+β)

其中，TF(t_i,d_j)表示特征项t_i在短文本d_j中出现的频率，β为常数因子；

1.1.4)：计算特征项t_i和短文本d_j的相关性因子，采用的计算公式为：

其中，P(t_i,d_j)表示特征项t_i和短文本d_j同时出现的概率，P(t_i)表示特征项t_i在短文本集中出现的概率，P(d_j)表示短文本d_j在短文本集中出现的概率；

1.1.5)：计算特征项全局因子，采用的计算公式为：

其中，n是短文本的总数量，C(t_i,d_j)表示特征项t_i和短文本d_j的相关性因子，α是常数因子；

1.1.6)：计算特征项-短文本对(t_i,d_j)的HTI值，并赋值给W_ij，HTI权值计算公式：

HTI(t_i,d_j)＝localT(t_i,d_j)×globalT(t_i,d_j)

其中localT(t_i,d_j)表示特征项局部因子，globalT(t_i,d_j)表示特征项全局因子；

1.1.7)：对于每一个特征项-短文本对(t_i,d_j)，重复1.1.2)至1.1.6)的操作，得到短文本集合D的HTI权值矩阵W。