[发明专利]一种文本分类的方法及装置在审
申请号: | 201811368725.0 | 申请日: | 2018-11-16 |
公开(公告)号: | CN109582792A | 公开(公告)日: | 2019-04-05 |
发明(设计)人: | 熊安斌;李宁馨;刘琳 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F17/27 |
代理公司: | 北京华沛德权律师事务所 11302 | 代理人: | 房德权 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待分类文本 集成分类器 搜索引擎 分类 搜索结果 文本分类 语义 二次分类 分类文本 识别率 搜索 失败 | ||
本发明公开了一种文本分类的方法及装置,其中方法包括:接收待分类文本;将所述待分类文本作为输入数据输入到集成分类器中,以通过所述集成分类器对所述待分类文本进行分类;若分类失败,则将所述待分类文本输入到搜索引擎中,以通过所述搜索引擎对所述待分类文本进行搜索,获得搜索结果;基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据;将调整后的输入数据输入到所述集成分类器中,以通过所述集成分类器对所述待分类文本进行分类。本发明结合搜索引擎对待分类文本进行二次分类,解决了现有技术在对一些语义较为复杂以及不常见的一些待分类文本识别率低,分类错误或不够准确的问题。
技术领域
本发明涉及计算机技术领域,尤其涉及一种文本分类的方法及装置。
背景技术
随着社会和时代的发展,人们的工作和生活越来越依赖互联网,通过互联网可以查询资料,购买商品,投放广告等。但目前互联网上用户生产与检索的自然文本每日呈指数级的速度增长。对于网络上的庞杂的内容,通过搜索引擎检索内容时,容易出现信息超载的情况,因此需要对文本信息进行分类。同时,文本分类能够帮助业务部门进行流量分析、内容审核、构建用户/产品画像、精准推荐、关键词扩簇、CTR预估等等,具有极其重要的意。
目前的文本分类通常需要对词条构建特征向量然后通过机器学习所训练的模型进行分类,虽然通过增加训练样本,可以使得文本分类模型分类的更加准确。虽说如此,但对于较为稀缺的数据资源,也难采集到足够的训练样本供文本分类模型进行学习。因此,也造成了现有的文本分类方法在对一些语义较为复杂以及不常见的一些待分类文本识别率低,分类错误或不够准确的问题。
发明内容
鉴于上述问题,本发明提出了一种文本分类的方法及装置,所述方法结合搜索引擎对待分类文本进行二次分类,解决了现有技术在对一些语义较为复杂以及不常见的一些待分类文本识别率低,分类错误或不够准确的问题。
第一方面,本申请通过本申请的一实施例提供如下技术方案:
一种文本分类的方法,包括:
接收待分类文本;将所述待分类文本作为输入数据输入到集成分类器中,以通过所述集成分类器对所述待分类文本进行分类;若分类失败,则将所述待分类文本输入到搜索引擎中,以通过所述搜索引擎对所述待分类文本进行搜索,获得搜索结果;基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据;将调整后的输入数据输入到所述集成分类器中,以通过所述集成分类器对所述待分类文本进行分类。
优选地,所述将所述待分类文本作为输入数据输入到集成分类器中,以通过所述集成分类器对所述待分类文本进行分类之后,还包括:若分类成功,则基于所述输入到集成分类器输出的第一目标分类结果确定所述待分类文本所属的类别,其中,所述第一目标分类结果表征分类成功,且在所述第一目标分类结果中包含所述待分类文本的类别信息。
优选地,所述基于所述搜索结果对所述输入数据进行调整,获得调整后的输入数据,包括:从所述搜索结果中提取出关键信息;将所述关键信息补充到所述输入数据中,获得调整后的输入数据;或将所述关键信息作为调整后的输入数据。
优选地,所述从所述搜索结果中提取出关键信息,包括:从所述搜索结果中提取出标题信息和/或摘要信息,并将所述标题信息和/或摘要信息作为所述关键信息。
优选地,所述集成分类器中设置有T个文本分类模型,T为正整数,所述集成分类器基于如下方法对所述待分类文本进行分类:接收所述输入数据;基于所述输入数据,通过所述T个文本分类模型分别对所述待分类文本进行分类,获得T个模型分类结果,其中,所述T个模型分类结果与所述T个文本分类模型一一对应,且在每个模型分类结果中都包含一表征所述待分类文本所属类别的类别信息;根据所述T个模型分类结果,获取目标分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811368725.0/2.html,转载请声明来源钻瓜专利网。