[发明专利]一种文本分类方法及装置有效
申请号: | 201810262316.6 | 申请日: | 2018-03-28 |
公开(公告)号: | CN108197337B | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 陈嘉慧;刘海龙;郭亚南 | 申请(专利权)人: | 北京搜狐新媒体信息技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06N3/04 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
地址: | 100190 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 装置 | ||
1.一种文本分类方法,其特征在于,包括:
对待分类文本进行预处理,得到多个句子;
将所述句子输入预先建立的CNN分类模型的输入层;
提取所述句子的word2vec特征,获取输入矩阵;
将所述输入矩阵输入卷积层,通过卷积操作提取特征;其中,所述卷积层的权重采用高斯分布参数值进行初始化;
将所述特征输入分类器进行分类;
所述CNN分类模型的训练方法包括:
获取数据集以及未清洗数据;其中,所述未清洗数据中包括预设分类标记;
利用所述数据集,对所述CNN分类模型进行初始训练;
利用初始训练后的CNN分类模型对所述未清洗数据进行分类预测,得到所述未清洗数据的预测分类标记以及预测概率;
判断所述未清洗数据的预测概率是否大于预设概率值;
判断所述未清洗数据的预测概率大于预设概率值,则判断所述未清洗数据的预测分类标记与所述未清洗数据的预设分类标记是否相同;
判断所述未清洗数据的预测分类标记与所述未清洗数据的预设分类标记不同,则将所述未清洗数据的预设分类标记修改为所述预测分类标记,得到清洗后的数据;
利用所述清洗后的数据更新所述CNN分类模型的训练集,并利用所述训练集对所述CNN分类模型进行训练;
所述将所述未清洗数据的预设分类标记修改为所述预测分类标记包括:
按照预设规则,从判断得到所述未清洗数据的预测分类标记与所述未清洗数据的预测分类标记不同的未清洗数据中,选择待处理的未清洗数据;
将所述待处理的未清洗数据的预设分类标记修改为所述预测分类标记;
所述CNN分类模型的训练方法还包括:
若训练样本的数量小于预设样本数量,则复用预先训练的CNN分类模型;
利用所述训练样本,对所述预先训练的CNN分类模型进行训练;所述预先训练的CNN分类模型为利用与所述训练样本的结构和特征相同的样本训练完成的CNN分类模型。
2.根据权利要求1所述的文本分类方法,其特征在于,所述对待分类文本进行预处理,得到多个句子包括:
判断所述待分类文本的长度是否大于预设长度;
判断所述待分类文本的长度大于预设长度,则将所述待分类文本按照所述预设长度进行截断,得到多个句子;
判断所述句子的长度是否小于预设长度;
判断所述句子的长度小于预设长度,则按照所述待分类文本中包括的内容顺序拼接在所述句子的后面,直至拼接后形成的新句子的长度等于所述预设长度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狐新媒体信息技术有限公司,未经北京搜狐新媒体信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810262316.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种视频查找的方法及装置
- 下一篇:一种浏览器书签生成方法、系统及终端设备