[发明专利]分类器生成方法、分类方法、装置、电子设备及存储介质有效

专利信息
申请号: 201711217129.8 申请日: 2017-11-28
公开(公告)号: CN107992887B 公开(公告)日: 2021-02-19
发明(设计)人: 邹荣珠 申请(专利权)人: 东软集团股份有限公司
主分类号: G06K9/62 分类号: G06K9/62
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 薛娇;王宝筠
地址: 110179 辽*** 国省代码: 辽宁;21
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分类 生成 方法 装置 电子设备 存储 介质
【权利要求书】:

1.一种分类器生成方法,其特征在于,包括:

将文本数据集的特征向量集合对应的特征集划分为多个子特征集,包括:根据所述特征集中特征的数量的大小获取各个特征对类别的贡献度,基于所述贡献度,将所述特征集划分为多个子特征集;所述特征向量集合中包括有标记文本数据的特征向量和无标记文本数据的特征向量,所述类别为有标记文本数据被标记出的类别;所述特征对类别的贡献度包括:特征对每个类别的贡献度,或者,特征对所有类别的贡献度;

依据所述多个子特征集中的特征,将所述特征向量集合中的特征向量进行划分,得到分别与每个子特征集对应的子特征向量集合;

利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练,得到所述子特征向量集合对应的初始分类器;

利用子特征向量集合中的有标记文本数据的子特征向量和无标记文本数据的子特征向量,将得到的初始分类器进行协同训练,得到半监督分类器。

2.根据权利要求1所述的方法,其特征在于,所述特征对类别的贡献度,包括:

与有标记文本数据被标记的类别对应的特征权重;

或者,

与有标记文本数据被标记的所有类别对应的特征得分,所述特征得分用于表征,特征与所有有标记文本数据被标记为所属类别这一结果的关联度,以及特征与其它特征之间的关联度。

3.根据权利要求2所述的方法,其特征在于,所述获取各个特征对类别的贡献度,包括:

若所述特征集中特征的数量大于或等于预设阈值,获取各个特征对类别的第一贡献度,所述第一贡献度为,与有标记文本数据被标记的类别对应的特征权重;

若所述特征集中特征的数量小于所述预设阈值,获取各个特征对类别的第二贡献度,所述第二贡献度为,与有标记文本数据被标记的所有类别对应的特征得分。

4.根据权利要求1所述的方法,其特征在于,所述基于所述贡献度,将所述特征向量集合对应的特征集划分为多个子特征集,包括:

按照贡献度所对应的类别,利用所述特征集中的特征构建分别与每个类别对应的特征序列,所述特征序列中的特征按照贡献度升序排列或降序排列;

遍历所构建的特征序列,每遍历到一个特征序列,执行如下划分过程:

按照特征的排列顺序,依次取出预设个数的未被划分的特征;将取出的预设个数的未被划分的特征按预设顺序依次划分到不同的子特征集中,使得各个子特征集中划分到的特征的数量相同或近似相同。

5.根据权利要求1所述的方法,其特征在于,在利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练时,至少有一个分类模型使用的分类算法与其它分类模型使用的分类算法不同。

6.根据权利要求1所述的方法,其特征在于,在利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练时,各个预设分类模型所使用的分类算法相同,其中,至少有一个分类模型中预定参数的取值与其它分类模型中所述预定参数的取值不同。

7.根据权利要求1所述的方法,其特征在于,所述利用子特征向量集合中的有标记文本数据的子特征向量和无标记文本数据的子特征向量,将得到的初始分类器进行协同训练,得到半监督分类器,包括:

利用初始分类器预测对应的子特征向量集合中的无标记文本数据的特征向量的类别,以及各个无标记文本数据的特征向量的分类置信度;

将所述子特征向量集合中,分类置信度最大的预设数目个无标记文本数据的子特征向量的类别,作为所述预设数目个无标记文本数据的伪标记;

将不同子特征向量集合中的伪标记进行交换;

利用所述子特征向量集合中,有标记文本数据的子特征向量和具有交换得到的伪标记的无标记文本数据的子特征向量,训练对应的初始分类器,得到新的分类器;

若新的分类器满足预设的训练终止条件,将新的分类器作为半监督分类器;

若新的分类器不满足所述训练终止条件,则将新的分类器作为初始分类器,返回执行所述利用初始分类器预测对应的子特征向量集合中的无标记文本数据的特征向量的类别,以及各个无标记文本数据的特征向量的分类置信度的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711217129.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top