[发明专利]一种大规模类别层级文本分类方法在审
申请号: | 202110743721.1 | 申请日: | 2021-06-30 |
公开(公告)号: | CN113590819A | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 谭军;潘嵘;毕宁;任天宇;黄嘉树 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/126;G06F40/289;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 大规模 类别 层级 文本 分类 方法 | ||
1.一种大规模类别层级文本分类方法,其特征在于,包括以下步骤:
S1:采集政府采购公示数据;
S2:利用机器学习的方式对步骤S1采集的数据进行分类;
S3:将步骤S2的分类结果作为基准,使用ARCNN模型对步骤S1采集的数据进行分类。
2.根据权利要求1所述的大规模类别层级文本分类方法,其特征在于,所述步骤S1的具体过程是:
收集政府采购公示数据,包括:成交公告以及竞标公告,对收集的政府采购公示数据进行预处理:
(1)将文本数据去除非法字符并将繁体字转成简体字;
(2)将中文分词,并去除停用词;
(3)训练词向量。
3.根据权利要求2所述的大规模类别层级文本分类方法,其特征在于,步骤S2中,使用层级分类问题的平面分类器方法进行分类,特征工程阶段,选择BOW和TF-IDF作为词语特征;分类器训练阶段,选择朴素贝叶斯分类器、Logistic回归分类器、支持向量机分类器、决策树分类器对实验数据进行分类;平面分类器不考虑层级结构,故本部分的损失函数仅考虑训练集的经验损失函数。
4.根据权利要求3所述的大规模类别层级文本分类方法,其特征在于,所述步骤S3中,对采集的政府采购公示数据进行中文文本分词,得到组词序列D=[w1;w2;…;wn],令w表示网络结构中的参数集合,p(k|D,w)表示文本实例属于类别k的概率,将词序列D=[w1;w2;…;wn]经过Word Embedding映射到词向量空间中,得到词序列的向量表示:[e(w1);e(w2);…;e(wn)];
对输入的词序列,采用双向循环神经网络模型Bi-RNN分别学习当前词wi的上下文信息,得到上文信息cl(wi)和下文信息cr(wi),其中,e(wi)为具有|e|个实值元素的非稀疏向量,cl(wi)、cr(wi)均为具有|c|个实值元素的非稀疏向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110743721.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自动化检测装置
- 下一篇:一种可解释的文本推断方法