[发明专利]一种文本聚类方法、装置、设备及可读存储介质

说明书

本发明公开了一种文本聚类方法，应用于分布式集群中的服务器，包括：获取待聚类的目标源文本；采用最大概率法提取目标源文本中的文本特征，获得目标数据；从自身缓存中读取预设的神经网络训练模型；根据神经网络训练模型和神经网络算法，对目标数据进行聚类分析，并生成与目标源文本对应的文件族。该方法应用于分布式集群，且在聚类过程中，神经网络训练模型产生的中间结果存储于服务器的缓存，因而提高了文本聚类的数据量和效率；同时，神经网络算法提高了聚类结果的准确性。相应地，本发明公开的一种文本聚类装置、设备及可读存储介质，也同样具有上述技术效果。

技术领域

本发明涉及聚类技术领域，更具体地说，涉及一种文本聚类方法、装置、设备及可读存储介质。

背景技术

随着计算机技术和聚类技术的不断融合发展，文本聚类成为对文本信息进行有效地组织、摘要和导航的重要手段。

目前，现有的文本聚类一般基于单机系统实现，由于机器有限，故其可涵盖的文本量较少；且由于其在聚类过程中，将聚类的中间结果存储于后端硬盘中，导致在迭代计算时，每次都需要从硬盘中读取数据，如此便降低了计算速率，进而导致文本聚类的效率有所降低；同时，由于其采用的聚类分析的算法较为复杂，在计算速率缓慢的情况下，可能无法确保聚类结果的准确性。

因此，如何提高文本聚类的效率和准确性，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种文本聚类方法、装置、设备及可读存储介质，以提高文本聚类的效率和准确性。

为实现上述目的，本发明实施例提供了如下技术方案：

一种文本聚类方法，应用于分布式集群中的服务器，包括：

获取待聚类的目标源文本；

采用最大概率法提取所述目标源文本中的文本特征，获得目标数据；

从自身缓存中读取预设的神经网络训练模型；

根据所述神经网络训练模型和神经网络算法，对所述目标数据进行聚类分析，并生成与所述目标源文本对应的文件族。

其中，所述采用最大概率法提取所述目标源文本中的文本特征，获得目标数据，包括：

对所述目标源文件进行预处理，并从预处理后的目标源文本中提取文本分词，所述文本分词包括：数字、日期、名字和词性；

从所述文本分词中提取所述文本特征，并通过所述最大概率法确定出现概率最大的文本特征，所述文本特征包括：词权重、词频和逆文档频率。

其中，所述神经网络训练模型的生成包括：

获取目标训练文本，并对所述目标训练文本进行归一化处理；

基于随机数，以及预设的连接值和阈值，对归一化处理后的目标训练文本进行稀疏逻辑回归，获得目标训练集合；

基于所述随机数，所述连接值和所述阈值迭代计算所述目标训练集合，生成所述神经网络训练模型。

其中，所述生成与所述目标源文本对应的文件族，包括：

通过向量空间模型和向量间空间夹角的余弦值生成所述文件族。

其中，所述生成与所述目标源文本对应的文件族之后，还包括：

将所述文件族进行可视化展示。

一种文本聚类装置，应用于分布式集群中的服务器，包括：

获取模块，用于获取待聚类的目标源文本；

提取模块，用于采用最大概率法提取所述目标源文本中的文本特征，获得目标数据；