[发明专利]一种基于DA_FASTTEXT的文档分类方法在审
申请号: | 202210204280.2 | 申请日: | 2022-03-03 |
公开(公告)号: | CN114564957A | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 王栋平;阮祥超;朱丹;姚兴霖;陶辉;徐文健 | 申请(专利权)人: | 南京烽火星空通信发展有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F16/35;G06N3/00 |
代理公司: | 南京经纬专利商标代理有限公司 32200 | 代理人: | 陆志斌 |
地址: | 210019 江苏省南京市建*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 da_fasttext 文档 分类 方法 | ||
1.一种基于DA_FASTTEXT的文档分类方法,其特征在于,包括如下步骤:
S1、邮件文档预处理;
S2、通过DA算法对FASTTEXT进行参数寻优,具体流程如下:
S2-1、初始化DA算法参数:最大迭代次数MAX_EPOCHS,种群数量N;
S2-2、初始化搜索空间中蜻蜓的位置向量X,方向向量△X,FASTTEXT模型参数:学习因子lr、训练迭代次数epoch和向量维度dim组合形成各只蜻蜓需优化的参数组合,其中X矩阵的第1,2,3行分别存放lr、epoch和dim的值;
S2-3、根据DA算法更新当前迭代次数t时蜻蜓的位置向量Xt+1;
S2-4、计算适应度值;
S2-5、搜寻领域中有无蜻蜓个体存在,以欧式距离作为领域中有无蜻蜓存在的根据,若存在,则取N0情况下的位置向量更新公式,更新位置与步长,若不存在,用N=0情况下的位置向量更新公式对位置进行更新;
S2-6、计算蜻蜓5个行为的行为位置向量以及对应的权重s,a,c,f,e的值;
S2-7、更新位置向量X和方向向量△X;
S2-8、判断迭代次数是否到达最大迭代次,若满足条件,则直接跳出,同时输出最优参数组合,若不满足,则迭代次数+1,跳转执行步骤S2-3;
S3、DA_FASTTEXT分类模型训练,具体流程如下:
S3-1、设置FASTEXT算法的模型参数,学习因子lr,训练迭代次数epoch和向量维度dim为DA算法得到的最优参数组合;
S3-2、采用邮件文档预处理得到的训练数据对FASTTEXT模型进行模型训练,最终得到最优的DA_FASTTEXT邮件分类模型;
S4、实时邮件分类,具体流程如下:
S4-1、对邮件主题、邮件内容、附件标题和附件内容进行解析;
S4-2、将解析后的内容分别进行jieba分词,按分词后的邮件主题、邮件内容、附件标题、附件内容顺序拼接后输入到DA_FASTTEXT模型中,获取当前邮件对应的类别信息返回给用户。
2.根据权利要求1所述的一种基于DA_FASTTEXT的文档分类方法,其特征在于,所述邮件文档预处理包括:
制定邮件分类标准,将邮件分为:人事调动、应聘入职、简历、招投标、需求方案、进度六大类,对训练邮件语料进行人工标注,分别归类到制定的分类标准类别中;
提取邮件主题、邮件内容、附件标题、附件内容,分别对邮件主题、邮件内容、附件标题、附件内容进行jieba分词处理后进行内容拼接,将处理后的邮件中80%作为训练集,20%作为测试集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京烽火星空通信发展有限公司,未经南京烽火星空通信发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210204280.2/1.html,转载请声明来源钻瓜专利网。