[发明专利]一种文章属性识别方法以及电子设备有效
申请号: | 201711060001.5 | 申请日: | 2017-11-01 |
公开(公告)号: | CN109753646B | 公开(公告)日: | 2022-10-21 |
发明(设计)人: | 许鸿;黄明辉;卓居超 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06V30/262;G06V10/82;G06N3/08 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文章 属性 识别 方法 以及 电子设备 | ||
1.一种文章属性识别方法,其特征在于,包括:
将待识别文章进行向量化处理以转换为词袋向量,所述词袋向量所包括的任一数值为词语在所述待识别文章中的词频逆向文件频率TF-IDF值;
通过第一预设模型对所述词袋向量进行处理,获取所述第一预设模型输出的第一预测值;
判断所述待识别文章的文本量是否大于或等于目标数值;
若所述待识别文章的文本量大于或等于目标数值,则通过第二预设模型对所述第一预测值以及所述待识别文章的文本特征进行处理,获取所述第二预设模型输出的第二预测值;
若所述待识别文章的文本量小于目标数值,则通过第三预设模型对所述第一预测值以及所述待识别文章的页面特征进行处理,获取所述第三预设模型输出的第三预测值;
所述第二预测值和所述第三预测值用于基于所述待识别文章的高级定义来指示所述待识别文章的属性,以提升对所述待识别文章进行识别的准确性,所述高级定义包括文本特征和页面特征。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第一待测试数据集,所述第一待测试数据集所包括的任一文章的文本量大于或等于所述目标数值,所述第一待测试数据集包括M个正类属性的文章以及N个负类属性的文章,所述M以及所述N为大于1的正整数;
获取分词处理后的所述第一待测试数据集;
计算分词处理后的所述第一待测试数据集所包括的任一词语的所述TF-IDF值;
将所述M个正类属性的文章所包括的词语与所述N个负类属性的文章所包括的词语去重后得到第一测试词袋向量,所述第一测试词袋向量所包括的任一数值为词语在所述第一待测试数据集中的所述TF-IDF值;
通过逻辑回归LR模型对所述第一测试词袋向量进行处理,得到所述第一预设模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述M个正类属性的文章所包括的词语与所述N个负类属性的文章所包括的词语去重后得到第一测试词袋向量包括:
确定第一排序列表,所述第一排序列表包括所述M个正类属性的文章所包括的词语,且所述第一排序列表按照词语的所述TF-IDF值由大到小的顺序进行排序;
确定第二排序列表,所述第二排序列表包括所述N个负类属性的文章所包括的词语,且所述第二排序列表按照词语的所述TF-IDF值由大到小的顺序进行排序;
将所述第一排序列表中排序在前A位的词语与所述第二排序列表中排序在前B位的词语去重后得到第一测试词袋向量,所述A以及所述B为大于1的正整数。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
抽取所述第一待测试数据集的文本特征;
通过逻辑回归LR模型对所述第一待测试数据集的文本特征和所述第一测试词袋向量的预测值进行处理,获取所述第二预设模型。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收第二待测试数据集,所述第二待测试数据集所包括的任一文章的文本量小于所述目标数值,所述第二待测试数据集包括M个正类属性的文章以及N个负类属性的文章;
获取分词处理后的所述第二待测试数据集;
计算分词处理后的所述第二待测试数据集所包括的任一词语的所述TF-IDF值;
将所述M个正类属性的文章所包括的词语与所述N个负类属性的文章所包括的词语去重后得到第二测试词袋向量,所述第二测试词袋向量所包括的任一数值为词语在所述第二待测试数据集中的所述TF-IDF值;
抽取所述第二待测试数据集的页面特征;
通过逻辑回归LR模型对所述第二待测试数据集的页面特征和所述第二测试词袋向量进行处理,得到所述第三预设模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711060001.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:排版方法及装置
- 下一篇:段落的划分方法及装置