[发明专利]一种新闻文本分类方法、装置及服务器在审
申请号: | 201810116106.6 | 申请日: | 2018-02-06 |
公开(公告)号: | CN108334610A | 公开(公告)日: | 2018-07-27 |
发明(设计)人: | 任宁;晋耀红 | 申请(专利权)人: | 北京神州泰岳软件股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京弘权知识产权代理事务所(普通合伙) 11363 | 代理人: | 逯长明;许伟群 |
地址: | 100089 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 新闻文本 分类词表 特征词 分类 分词 相关度 服务器 命中 分类过程 分类能力 内容变化 新闻语料 申请 创建 更新 积累 | ||
本申请实施例提供了一种新闻文本分类方法、装置及服务器,首先,根据已知新闻语料创建分类词表;然后,根据分类词表对新闻文本进行分类,获得新闻文本的命中类别;然后,对新闻文本进行分词,并获取每个新闻文本的分词与命中类别的相关度;最后,根据相关度,从新闻文本的分词中选拔特征词,并将选拔出的特征词添加到分类词表中。随着新闻文本分类的进行,本申请实现了在新闻文本的分类过程中持续地更新分类词表,使分类词表在使用过程中能够不断积累和完善特征词,及时跟随新闻文本的内容变化趋势,保持并不断提高分类词表对新出现的新闻文本的分类能力,从而,提高了新闻文本分类的准确性。
技术领域
本申请涉及自然语言处理技术领域,尤其涉及一种新闻文本分类方法、装置及服务器。
背景技术
在自然语言处理技术领域,文本数据的处理包括文本分类、文本组织和文本管理等类型,其中,文本分类是指在给定的分类体系下,根据文本内容自动确定文本类别的过程。
随着移动互联网技术的发展,互联网中的信息来源越来越广泛,互联网信息的数量迅速增加。在新闻传媒领域,随着流量媒体和互联网自媒体的迅速繁荣,新闻的来源变得更加多元,生成速度大大加快,如何有效地从互联网中收集新闻,并对收集到的新闻进行分类已经成为新闻媒体所面临的重要挑战。因此,对新闻文本进行分类就成为了文本分类的一个重要应用方向。
现有技术中对新闻文本进行分类多采用基于统计学算法的文本分类方法。图1为现有技术的一种新闻文本分类方法的示意图,使用基于统计学算法的文本分类方法进行文本分类时,首先,要对大量的已知类别的新闻文本进行标注;然后,以标注后的新闻文本作为训练语料,训练文本分类器,使文本分类器具备对未知文本的分类能力。在现有技术的基于统计学算法的文本分类方法,文本分类的准确度取决于训练语料的数量和质量,因此,为了提高文本分类的准确率,必须使用大量的训练语料对文本分类器进行训练,而语料标注的过程是通过人工实现的,难以满足获得大量训练需要的要求,导致准确利率不理想。
此外,由于新闻具有热点性强、时效性强、更迭速度块、过期速度快的特点,新闻文本往往在积累语料的过程中就已经过期,无法反映当前的新闻热点;因此,基于统计学算法的文本分类方法由于训练语料在积累过程中存在时效上的滞后,而缺乏对新出现的新闻文本的分类能力,从而在实际应用中存在着对新闻文本分类的准确率偏低的问题。
因此,如何提高对新闻文本分类的准确性,成为本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例提供了一种新闻文本分类方法、装置及服务器,以解决现有技术中存在的问题。
第一方面,本申请实施例提供了一种新闻文本分类方法,所述方法包括:
S110,根据已知新闻语料创建分类词表;所述分类词表设置有多个新闻类别,每个新闻类别中包含至少一个特征词;
S120,根据所述分类词表对新闻文本进行分类,获得新闻文本的命中类别;
S130,对新闻文本进行分词,并获取每个新闻文本的分词与所述命中类别的相关度;
S140,根据所述相关度,从新闻文本的分词中选拔所述特征词,并将选拔出的所述特征词添加到所述分类词表中;
S150,重复执行步骤S120-S140,直到所述分类词表对新闻文本分类的准确率满足预设终止条件为止。
第二方面,本申请实施例还提供了一种新闻文本分类装置,所述装置包括:
创建单元,用于根据已知新闻语料创建分类词表;所述分类词表设置有多个新闻类别,每个新闻类别中包含至少一个特征词;
分类单元,用于根据所述分类词表对新闻文本进行分类,获得新闻文本的命中类别;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京神州泰岳软件股份有限公司,未经北京神州泰岳软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810116106.6/2.html,转载请声明来源钻瓜专利网。