[发明专利]分类器生成方法、分类方法、装置、电子设备及存储介质有效
申请号: | 201711217129.8 | 申请日: | 2017-11-28 |
公开(公告)号: | CN107992887B | 公开(公告)日: | 2021-02-19 |
发明(设计)人: | 邹荣珠 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 薛娇;王宝筠 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分类 生成 方法 装置 电子设备 存储 介质 | ||
1.一种分类器生成方法,其特征在于,包括:
将文本数据集的特征向量集合对应的特征集划分为多个子特征集,包括:根据所述特征集中特征的数量的大小获取各个特征对类别的贡献度,基于所述贡献度,将所述特征集划分为多个子特征集;所述特征向量集合中包括有标记文本数据的特征向量和无标记文本数据的特征向量,所述类别为有标记文本数据被标记出的类别;所述特征对类别的贡献度包括:特征对每个类别的贡献度,或者,特征对所有类别的贡献度;
依据所述多个子特征集中的特征,将所述特征向量集合中的特征向量进行划分,得到分别与每个子特征集对应的子特征向量集合;
利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练,得到所述子特征向量集合对应的初始分类器;
利用子特征向量集合中的有标记文本数据的子特征向量和无标记文本数据的子特征向量,将得到的初始分类器进行协同训练,得到半监督分类器。
2.根据权利要求1所述的方法,其特征在于,所述特征对类别的贡献度,包括:
与有标记文本数据被标记的类别对应的特征权重;
或者,
与有标记文本数据被标记的所有类别对应的特征得分,所述特征得分用于表征,特征与所有有标记文本数据被标记为所属类别这一结果的关联度,以及特征与其它特征之间的关联度。
3.根据权利要求2所述的方法,其特征在于,所述获取各个特征对类别的贡献度,包括:
若所述特征集中特征的数量大于或等于预设阈值,获取各个特征对类别的第一贡献度,所述第一贡献度为,与有标记文本数据被标记的类别对应的特征权重;
若所述特征集中特征的数量小于所述预设阈值,获取各个特征对类别的第二贡献度,所述第二贡献度为,与有标记文本数据被标记的所有类别对应的特征得分。
4.根据权利要求1所述的方法,其特征在于,所述基于所述贡献度,将所述特征向量集合对应的特征集划分为多个子特征集,包括:
按照贡献度所对应的类别,利用所述特征集中的特征构建分别与每个类别对应的特征序列,所述特征序列中的特征按照贡献度升序排列或降序排列;
遍历所构建的特征序列,每遍历到一个特征序列,执行如下划分过程:
按照特征的排列顺序,依次取出预设个数的未被划分的特征;将取出的预设个数的未被划分的特征按预设顺序依次划分到不同的子特征集中,使得各个子特征集中划分到的特征的数量相同或近似相同。
5.根据权利要求1所述的方法,其特征在于,在利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练时,至少有一个分类模型使用的分类算法与其它分类模型使用的分类算法不同。
6.根据权利要求1所述的方法,其特征在于,在利用所述子特征向量集合中的有标记文本数据的子特征向量对预设分类模型进行训练时,各个预设分类模型所使用的分类算法相同,其中,至少有一个分类模型中预定参数的取值与其它分类模型中所述预定参数的取值不同。
7.根据权利要求1所述的方法,其特征在于,所述利用子特征向量集合中的有标记文本数据的子特征向量和无标记文本数据的子特征向量,将得到的初始分类器进行协同训练,得到半监督分类器,包括:
利用初始分类器预测对应的子特征向量集合中的无标记文本数据的特征向量的类别,以及各个无标记文本数据的特征向量的分类置信度;
将所述子特征向量集合中,分类置信度最大的预设数目个无标记文本数据的子特征向量的类别,作为所述预设数目个无标记文本数据的伪标记;
将不同子特征向量集合中的伪标记进行交换;
利用所述子特征向量集合中,有标记文本数据的子特征向量和具有交换得到的伪标记的无标记文本数据的子特征向量,训练对应的初始分类器,得到新的分类器;
若新的分类器满足预设的训练终止条件,将新的分类器作为半监督分类器;
若新的分类器不满足所述训练终止条件,则将新的分类器作为初始分类器,返回执行所述利用初始分类器预测对应的子特征向量集合中的无标记文本数据的特征向量的类别,以及各个无标记文本数据的特征向量的分类置信度的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711217129.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电子电源变压器用绕线装置
- 下一篇:干式空心电抗器专用化合物盛装容器