[发明专利]一种文本分类模型的建立方法及装置有效
申请号: | 201810038485.1 | 申请日: | 2018-01-15 |
公开(公告)号: | CN108228869B | 公开(公告)日: | 2020-07-21 |
发明(设计)人: | 雷丰丰 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 模型 建立 方法 装置 | ||
1.一种文本分类模型的建立方法,其特征在于,所述方法包括:
从原始样本语料中,确定属于各个预设类别的种子特征词;所述各个预设类别属于至少两个维度;
对于每个预设类别的种子特征词,确定所述种子特征词的至少一阶相关词集合;
对于每阶相关词集合中的每个相关词,确定所述相关词与所述种子特征词之间的近似度;
将近似度大于预设近似度阈值的相关词和所述种子特征词,确定为所述预设类别对应的类别特征词集合;
根据所述各个预设类别所对应的类别特征词集合,建立针对不同维度的文本分类模型。
2.根据权利要求1所述的方法,其特征在于,所述对于每阶相关词集合中的每个相关词,确定所述相关词与所述种子特征词之间的近似度,包括:
对于每阶相关词集合中的每个相关词,确定所述相关词的一阶相关词集合;
确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词交集;
确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词并集;
将所述相关词交集的词语数量除以所述相关词并集的词语数量,得到所述相关词与所述种子特征词之间的近似度。
3.根据权利要求1所述的方法,其特征在于,所述对于每阶相关词集合中的每个相关词,确定所述相关词与所述种子特征词之间的近似度,包括:
对于每阶相关词集合中的每个相关词,确定所述相关词的一阶相关词集合;
确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词交集;
将所述相关词交集的词语数量确定为所述相关词与所述种子特征词之间的近似度。
4.根据权利要求1所述的方法,其特征在于,所述从原始样本语料中,确定属于各个预设类别的种子特征词,包括:
对原始样本语料进行分词处理,得到多个样本词汇;
确定每个样本词汇的词频-逆向文档频率TF-IDF;
从所述多个样本词汇中,选择TF-IDF大于预设TF-IDF阈值的样本特征词;
对于任一样本特征词,当接收到针对所述样本特征词的类别选择指令时,将所述样本特征词确定为所选择的预设类别的种子特征词。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述各个预设类别所对应的类别特征词集合,建立针对不同维度的文本分类模型之后,还包括:
将各个测试文本分别输入至所述针对不同维度的文本分类模型;
对于针对每个维度的文本分类模型,确定所述文本分类模型的准确度;
当所述准确度大于预设准确度阈值时,输出针对所述维度的最终文本分类模型。
6.根据权利要求5所述的方法,其特征在于,所述当所述准确度大于预设准确度阈值时,输出针对所述维度的最终文本分类模型之后,还包括:
当获取到目标文本时,将所述目标文本分别输入至针对不同维度的最终文本分类模型,以在不同维度中对所述目标文本进行分类。
7.一种文本分类模型的建立装置,其特征在于,所述装置包括:
第一确定模块,用于从原始样本语料中,确定属于各个预设类别的种子特征词;所述各个预设类别属于至少两个维度;
第二确定模块,用于对于每个预设类别的种子特征词,确定所述种子特征词的至少一阶相关词集合;
第三确定模块,用于对于每阶相关词集合中的每个相关词,确定所述相关词与所述种子特征词之间的近似度;
第四确定模块,用于将近似度大于预设近似度阈值的相关词和所述种子特征词,确定为所述预设类别对应的类别特征词集合;
建立模块,用于根据所述各个预设类别所对应的类别特征词集合,建立针对不同维度的文本分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810038485.1/1.html,转载请声明来源钻瓜专利网。