[发明专利]基于语义相似度的文本聚类方法

权利要求书

1.基于语义相似度的文本聚类方法，其特征在于，包括以下步骤：

a.收集文本数据，根据成功解析的结果对其进行分类；

b.针对分类后的文本数据进行多元组拆分，获得各个分类下的训练特征集；

c.基于词袋模型将训练特征集转换为宇向量；

d.将所述宇向量作为神经网络的输入进行训练，获得不同分类下的低纬语义模型；

e.在应用时，计算待分类的不规范文本与已经训练好的各个类别的低纬语义模型之间的相似度得分；

f.选择相似度得分最高的分类作为该不规范文本的分类，进行类别输出。

2.如权利要求1所述的基于语义相似度的文本聚类方法，其特征在于，步骤a中，所述收集文本数据，根据成功解析的结果对其进行分类，具体包括：

在日志系统收集在实际项目应用中，对实体解析成功的文本数据，或者收集已经标注好的数据文本，基于已知标签结果，根据标签分类个数，将数据文本分为不同类别下的集合。

3.如权利要求1所述的基于语义相似度的文本聚类方法，其特征在于，步骤b中，所述针对分类后的文本数据进行多元组拆分，获得各个分类下的训练特征集，具体包括：

对每个类别下的数据文本集合中的每一条数据进行n-grams拆分，拆分为由二元词组、三元词组和原文本组成的该类别下的训练特征集，并对训练特征集中的词组进行去重处理。

4.如权利要求1所述的基于语义相似度的文本聚类方法，其特征在于，步骤d具体包括：

d1.选择tanh为神经网络的隐藏层和输出层的激活函数；

d2.将不同分类的宇向量作为神经网络的输入；

d3.经过神经网络算法生成各个类别下的低纬语义的向量模型；

d4.计算输入的未知文本与每个低纬语义的向量模型之间的语义向量；

d5.通过softmax函数将未知文本和向量模型之间的相似性转为后验概率，并通过极大似然估计来最小化损失函数：

d6.最后通过反向传播和随机梯度下降算法使得向量模型收敛。