[发明专利]一种基于DA_FASTTEXT的文档分类方法

说明书

本发明公开了一种基于DA_FASTTEXT的文档分类方法，包括如下步骤：S1、邮件文档预处理；S2、通过DA算法对FASTTEXT进行参数寻优；S3、DA_FASTTEXT分类模型训练；S4、实时邮件分类，对邮件主题、邮件内容、附件标题和附件内容进行解析，并将解析后的内容分别进行jieba分词，按分词后的邮件主题、邮件内容、附件标题、附件内容顺序拼接后输入到DA_FASTTEXT模型中，获取当前邮件对应的类别信息返回给用户。该种基于DA_FASTTEXT的文档分类方法，采用FASTTEXT算法对邮件文档进行分类识别，提高模型识别的准确性和效率；对于FASTTEXT算法参数较多难以快速拟合问题，利用DA算法对参数进行寻优，得到最优的FASTTEXT分类模型。

技术领域

本发明涉及自然语言深度学习技术领域，具体为一种基于DA_FASTTEXT的文档分类方法。

背景技术

随着互联网信息的爆炸式增长，各种文本信息日益增长，面对如此巨大的信息，人工分类选择已无能为力，因此，机器自动化文档分类方法应运而生，提高了分类的效率和质量，方便用户准确地定位所需的信息和分流信息，具有广泛的应用前景。

现有技术中存在一些文档分类方法：

1、基于朴素贝叶斯的新闻文档分类算法：对不同类别的新闻数据进行分词和删除停用词处理，然后将TF-IDF与N-Gram结合进行降维处理，构造朴素贝叶斯分类器，利用该分类器对其他新闻数据进行类别标注。

2、基于支持向量机的农业文档分类算法：构建农业行业分类关键词库，通过特征词选择和权重计算，构建支持向量机分类器模型，该模型实现了农业文档信息的自动分类。

现如今，随着信息化的飞速发展，与日俱增的文本信息分类不仅依赖分类方法的效果，还依赖于分类方法的速度，现有技术无法同时满足分类的质量和效率。FASTTEXT文本分类算法的出现完美解决了上述问题，与其他分类算法相比在保证分类准确性的同时还降低了时间开销。而FASTTEXT美中不足的地方是算法参数过多，模型的效果依赖于参数值的设定，而蜻蜓算法(DA)可用于参数寻优，有助于快速找到FASTTEXT的最优参数解。

基于此，本发明实施例提供了一种基于DA_FASTTEXT文档分类方法。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于DA_FASTTEXT的文档分类方法，包括如下步骤：

S1、邮件文档预处理；

S2、通过DA算法对FASTTEXT进行参数寻优，具体流程如下：

S2-1、初始化DA算法参数：最大迭代次数MAX_EPOCHS，种群数量N；

S2-2、初始化搜索空间中蜻蜓的位置向量X，方向向量△X，FASTTEXT模型参数：学习因子lr、训练迭代次数epoch和向量维度dim组合形成各只蜻蜓需优化的参数组合，其中X矩阵的第1，2，3行分别存放lr、epoch和dim的值；

S2-3、根据DA算法更新当前迭代次数t时蜻蜓的位置向量X_t+1；

S2-4、计算适应度值；

S2-5、搜寻领域中有无蜻蜓个体存在，以欧式距离作为领域中有无蜻蜓存在的根据，若存在，则取N0情况下的位置向量更新公式，更新位置与步长，若不存在，用N＝0情况下的位置向量更新公式对位置进行更新；

S2-6、计算蜻蜓5个行为的行为位置向量以及对应的权重s，a，c，f，e的值；

S2-7、更新位置向量X和方向向量△X；