[发明专利]文本分类方法、装置、电子设备及可读存储介质有效
| 申请号: | 202110823177.1 | 申请日: | 2021-07-21 |
| 公开(公告)号: | CN113505227B | 公开(公告)日: | 2022-06-10 |
| 发明(设计)人: | 贾星星;王文强;刘昊;苏伟;王道顺 | 申请(专利权)人: | 兰州大学 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
| 代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 王思楠 |
| 地址: | 730030 甘肃*** | 国省代码: | 甘肃;62 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 分类 方法 装置 电子设备 可读 存储 介质 | ||
1.一种文本分类方法,其特征在于,所述方法包括:
获取待处理文本以及所述待处理文本的至少一个子文本;
将所述待处理文本以及所述至少一个子文本均输入预先训练得到的分类模型,得到所述待处理文本属于各类别的概率以及各所述子文本属于各类别的概率,并将所述待处理文本属于各类别的概率作为所述待处理文本的总文本特征;
根据各所述子文本属于各类别的概率,得到所述待处理文本的子文本特征,所述子文本特征用于表征所述待处理文本的语义差异性;
将所述子文本特征以及所述总文本特征输入修正模型进行概率修正,得到修正后的所述待处理文本属于各类别的概率;
根据所述修正后的所述待处理文本属于各类别的概率,确定所述待处理文本的目标类别。
2.根据权利要求1所述的文本分类方法,其特征在于,根据各所述子文本属于各类别的概率,得到所述待处理文本的子文本特征,包括:
根据各所述子文本属于各类别的概率,计算所有子文本属于各类别的概率标准差、均值以及最大值,得到各类别对应的概率标准差、均值以及最大值;
将所述各类别对应的概率标准差、均值以及最大值作为所述待处理文本的子文本特征。
3.根据权利要求1所述的文本分类方法,其特征在于,所述根据所述修正后的所述待处理文本属于各类别的概率,确定所述待处理文本的目标类别,包括:
对所述待处理文本属于各类别的概率按照概率值大小进行排序;
将最大概率值对应的类别作为所述待处理文本的目标类别。
4.根据权利要求1所述的文本分类方法,其特征在于,所述获取待处理文本以及所述待处理文本的至少一个子文本,包括:
获取所述待处理文本;
确定所述待处理文本的类型,所述类型包括:多段落文本、单段落文本以及句子文本;
根据所述待处理文本的类型,对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本。
5.根据权利要求4所述的文本分类方法,其特征在于,所述根据所述待处理文本的类型,对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本之后,还包括:
若拆分得到的第一子文本的长度小于预设长度,则丢弃所述第一子文本,其中,所述第一子文本为从所述待处理文本中拆分出的任意一个子文本。
6.根据权利要求4所述的文本分类方法,其特征在于,所述根据所述待处理文本的类型,对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本,包括:
若所述待处理文本为多段落文本,则根据预设的段落分隔符号对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本,每个子文本包括一个段落。
7.根据权利要求4所述的文本分类方法,其特征在于,所述根据所述待处理文本的类型,对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本,包括:
若所述待处理文本为单段落文本,则根据预设的句子结束符号对所述待处理文本进行拆分,得到所述待处理文本的至少一个子文本,每个子文本包括一个句子。
8.一种文本分类装置,其特征在于,所述装置包括:
获取模块,用于获取待处理文本以及所述待处理文本的至少一个子文本;
第一确定模块,用于将所述待处理文本以及所述至少一个子文本均输入预先训练得到的分类模型,得到所述待处理文本属于各类别的概率以及各所述子文本属于各类别的概率,并将所述待处理文本属于各类别的概率作为所述待处理文本的总文本特征;
第二确定模块,用于根据各所述子文本属于各类别的概率,得到所述待处理文本的子文本特征,所述子文本特征用于表征所述待处理文本的语义差异性;
修正模块,用于将所述子文本特征以及所述总文本特征输入修正模型进行概率修正,得到修正后的所述待处理文本属于各类别的概率;
第三确定模块,用于根据所述修正后的所述待处理文本属于各类别的概率,确定所述待处理文本的目标类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于兰州大学,未经兰州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110823177.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种染料溶解输送系统
- 下一篇:一种抗老化防蚁鼠阻燃的PE管道





