[发明专利]一种基于文本聚类的语义相似度分析方法

说明书

本发明公开了一种基于文本聚类的语义相似度分析方法，该方法包含：以未处理的文本数据作为输入，对通过数据预处理的文本进行词频统计，并将词频统计信息作为先验知识加入文本聚类，提出后验判别准则，也可以将词频统计作为分类器再次基础上进行无监督的聚类方法提高文本聚类结果的准确性和时效性；对处理过的文本进行同义词消除歧义、在进行语义角色标注后，生成融合上下文特征的语义向量，采用结构、参数完全相同的两个LSTM处理文本序列，并加入结果的乘积和方差，放大文本的相同点和差异性，计算得到相似度分析的最终结果。本发明的方法能够应用于多种不同领域的文本相似度分析的实际场景中，可以很好地处理类型不同的文本数据。

技术领域

本发明属于自然语言处理领域，涉及一种基于文本聚类的语义相似度分析方法。

背景技术

文本聚类和语义相似度检测一直是自然语言处理领域的一个重要研究课题，能够自动且精确地在文本数据中确定文本的类别、语义的提取以及相似度的比对，对于我们对文本数据的处理和应用至关重要。近年来，研究领域的成熟总是伴随着报告和科研成果数量的急剧增加，总结和提供概述变得很重要，基于文本聚类的相似度分析方法受到了越来越多的关注，该方法可以分为文本聚类以及文本相似度分析的两个阶段，目前的方法基本上都更关注词频信息，而忽略了关键词的语义信息以及文本的数据结构和上下文信息，文本中有很多关键词的语义信息以及上下文信息都有利于进行文本的聚类相似度分析。

在特定领域中高效的对文本进行相似度分析检测问题已经基本解决，但将其应用在一个多领域且文本库庞大的范围内进行相似度分析，很难快速且精准的获得相似度，存在特征词向量维度高、数据稀疏、忽略低频词以及缺乏语义信息等问题，且文本中的专业词汇以及不同领域中会产歧义的同义词也会对相似度分析结果产生影响。通过基于深度学习的语义相似度分析方法虽然可以降低这种影响，提高准确率但却存在检测时间过长的问题，因此在广泛领域中如何尽可能地快速且高效地进行文本相似度分析成为了一个亟待解决的难题。

发明内容

本发明为了克服上述缺陷，提出了一种基于文本聚类的语义相似度分析方法，本发明具体步骤如下：

S1，对于一个输入未处理的文本T，采用去除停用词、编码转换以及中文分词的方式进行数据预处理，将其转换为可以进行计算的形式；

S2，对分割好的单词，使用Skip-gram和Softmax模型训练文本词向量以计算词语间的相似度；

S3，使用TF-IDF算法计算词频逆文档频率，进而得出TF-IDF的值，提取出检测文本的关键词；

S4，将词频统计信息作为先验知识加入文本聚类，提出后验判别准则，对样本库中的文本进行初步分类；

S5，将提取出的关键词作为先验知识加入分类器，并在此基础上对样本库中的文本数据进行聚类，精确且细化先前得到的文本数据类别；

S6，对预处理过的待检测文本进行语态分析、同义词消歧义、语义角色标注后生成融合上下文特征的语义向量；

S7，将语义向量输入结构、参数完全相同的两个LSTM处理文本序列，并加入结果的乘积和方差，放大文本的相同点和差异性；

S8，输出文本相似度分析的最终结果。

对于步骤S3，本发明使用的词向量Skip-gram模型由基于Hierarchical Softmax构造的一颗Huffman树，能够根据当前输入的词，从大规模非标注的文本数据中预测上下文词出现的概率，即能够通过当前词语出现的概率来预测周围出现的词；根据词语在窗口中的共现原理，基于窗口滑动来计算词语间的共现概率，这样每个特征词生成的词向量中都包含了一定的文本结构信息和语义信息，其中Skip-gram模型的结构和计算方式如下：