[发明专利]一种文件分类方法、系统及一种文件分类设备

说明书

技术领域

本发明涉及文本分类技术领域，更具体地说，涉及一种文件分类方法、系统及一种文件分类设备和一种计算机可读存储介质。

背景技术

在当今大数据背景下，海量的数据信息充斥在网络上，如何利用这些数据、对数据进行二次加工处理，挖掘出有用的信息来创造价值是目前大数据、数据挖掘领域的研究热点。而通过分类算法将用户感兴趣的数据识别出来是进行数据挖掘一个常用手段。

现有技术中的文本分类方法主要包括：分词、提取特征、文本向量化表示、训练分类模型、预测分类。而对分类过程的改进点主要集中在特征提取、文本的向量化表示方法、分类算法上。特征提取主要方法主要包括：TF、TF-IDF、信息增益等；向量化表示主要有：向量空间模型(VMS)、词向量、主体模型等；分类算法主要有：朴素贝叶斯、LOGISTIC、SVM、RANDOMFOREST、神经网络等。目前关于文本分类研究较多的分类算法主要集中在使用word2vector产生特征项的低维词向量化表示文本，然后使用深度学习模型进行分类。

因此，如何实现文本从预处理到分类结果的输出一体化是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种文件分类方法、系统及一种文件分类设备和一种计算机可读存储介质，实现了文本从预处理到分类结果的输出一体化。

为实现上述目的，本发明实施例提供了一种文件分类方法，包括：

将采集到的文本进行预处理，并将经过预处理的文本进行分词处理，得到词语序列；

去除所述词语序列中的停用词，得到当前词语序列，并将所述当前词语序列中TF-IDF权重大于预设值的特征词添加至语料词典中；

利用VSM模型对所述语料词典中的特征词进行向量化表示，得到向量矩阵；

将所述向量矩阵输入分类模型中训练所述分类模型，以便对未知文本进行分类。

其中，还包括：

将未知文本经过预处理、分词处理和去除停用词处理后，输入所述训练完成的分类模型中，以便所述训练完成的分类模型输出所述未知文本的类别。

其中，所述将采集到的文本进行预处理，包括：

将采集到的文本去除非主要文本；

其中，所述非主要文本包括非文本数据和/或干扰数据项。

其中，所述将当前的词语序列中TF-IDF权重大于预设值的特征词添加至语料词典中，包括：

计算当前的词语序列中每个特征词的TF和IDF，所述TF为所述特征词在当前文本中的词频，IDF为包含所述特征词的文本数的倒数；

将所述TF与所述IDF的乘积作为所述特征词的TF-IDF权重；

判断所述TF-IDF权重是否大于所述预设值，若是，则将所述特征词添加至语料词典中。

为实现上述目的，本发明实施例提供了一种文件分类系统，包括：

预处理模块，用于将采集到的文本进行预处理，并将经过预处理的文本进行分词处理，得到词语序列；

添加模块，用于去除所述词语序列中的停用词，得到当前词语序列，并将所述当前词语序列中TF-IDF权重大于预设值的特征词添加至语料词典中；

向量化模块，用于利用VSM模型对所述语料词典中的特征词进行向量化表示，得到向量矩阵；

训练模块，用于将所述向量矩阵输入分类模型中训练所述分类模型，以便对未知文本进行分类。

其中，还包括：

输入模块，用于将未知文本经过预处理、分词处理和去除停用词处理后，输入所述训练完成的分类模型中，以便所述训练完成的分类模型输出所述未知文本的类别。

其中，所述预处理模块具体包括：

第一去除单元，用于将采集到的文本去除非主要文本，其中，所述非主要文本包括非文本数据和/或干扰数据项；

分词单元，用于将经过预处理的文本进行分词处理，得到词语序列。

其中，所述添加模块具体包括：

第二去除单元，用于去除所述词语序列中的停用词；

计算单元，用于计算当前的词语序列中每个特征词的TF和IDF，所述TF为所述特征词在当前文本中的词频，IDF为包含所述特征词的文本数的倒数；

确定单元，用于将所述TF与所述IDF的乘积作为所述特征词的TF-IDF权重；

判断单元，用于判断所述TF-IDF权重是否大于所述预设值，若是，则将所述特征词添加至语料词典中。

为实现上述目的，本发明实施例提供了一种文件分类设备，包括：

存储器，用于存储文件分类程序；