[发明专利]一种文本分类方法、装置及存储介质有效
申请号: | 201810200768.1 | 申请日: | 2018-03-12 |
公开(公告)号: | CN108416032B | 公开(公告)日: | 2021-06-08 |
发明(设计)人: | 宋彦 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/30;G06N7/00 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 黄威 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 装置 存储 介质 | ||
1.一种文本分类方法,其特征在于,包括:
确定主题模型,及确定文本分类模型,所述主题模型包括各个词语的主题分布信息;
根据所述各个词语的主题分布信息,确定待处理文本中的关键词在所述主题模型中的第一主题分布信息;
通过文本分类模型获取所述待处理文本的特征信息;
及所述文本分类模型根据所述第一主题分布信息与所述特征信息的计算结果,确定所述待处理文本的类别;
所述根据所述各个词语的主题分布信息,确定待处理文本中的关键词在所述主题模型中的第一主题分布信息,具体包括:
将所述待处理文本转化为第二语法格式的待处理文本,所述第二语法格式是所述主题模型中各个词语的语法格式;
获取所述第二语法格式的待处理文本的第一特征信息;
根据所述第一特征信息及第一分布矩阵确定所述第一主题分布信息,所述第一分布矩阵用于指示所述主题模型中各个词语的主题分布信息。
2.如权利要求1所述的方法,其特征在于,所述确定文本分类模型,具体包括:
确定所述文本分类模型,及确定所述文本分类模型与主题模型之间的连接结构,所述连接结构用于根据所述各个词语的主题分布信息确定所述第一主题分布信息,并输出给所述文本分类模型;
确定第二训练样本,所述第二训练样本中包括训练文本,及所述训练文本中各个词语所属的主题类型;
通过所述文本分类模型根据所述第二训练样本中各个训练文本对应的第一主题分布信息,分别确定所述各个训练样本的类别,得到初始分类结果;
根据所述初始分类结果计算与所述文本分类模型相关的损失函数值;
根据所述损失函数值调整所述文本分类模型中的第二固定参数值。
3.如权利要求2所述的方法,其特征在于,如果对所述第二固定参数值的调整满足如下任一停止条件,则停止对所述第二固定参数值的调整:
对所述第二固定参数值的调整次数达到预置的次数,当前调整的第二固定参数值与上一次调整的第二固定参数值的差值小于一阈值。
4.如权利要求1所述的方法,其特征在于,所述根据所述第一特征信息及第一分布矩阵确定所述第一主题分布信息,具体包括:
对所述第一分布矩阵进行归一化处理;
将所述第一特征信息与所述归一化处理后的第一分布矩阵的乘积作为所述第一主题分布信息。
5.如权利要求1至3任一项所述的方法,其特征在于,所述特征信息为所述待处理文本的浅层表达特征信息,则所述文本分类模型根据所述第一主题分布信息与所述特征信息的计算结果,确定所述待处理文本的类别,具体包括:
所述文本分类模型将所述浅层表达特征信息与所述第一主题分布信息进行相加,得到相加后特征信息;
所述文本分类模型根据所述相加后特征信息获取所述待处理文本的最终特征信息;
所述文本分类模型根据所述最终特征信息进行分类操作,得到所述待处理文本的类别。
6.如权利要求5所述的方法,其特征在于,所述浅层表达特征信息为所述待处理文本的全局特征信息,或局部特征信息;
所述最终特征信息为所述待处理文本中关键的局部特征信息。
7.如权利要求1至3任一项所述的方法,其特征在于,所述特征信息为所述待处理文本的最终特征信息,则所述文本分类模型根据所述第一主题分布信息与所述特征信息的计算结果,确定所述待处理文本的类别,具体包括:
所述文本分类模型将所述最终特征信息与所述第一主题分布信息进行相加,得到相加后特征信息;
所述文本分类模型根据所述相加后特征信息进行分类操作,得到所述待处理文本的类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810200768.1/1.html,转载请声明来源钻瓜专利网。