[发明专利]一种新闻内容的查重方法、系统及装置有效
申请号: | 201911364865.5 | 申请日: | 2019-12-26 |
公开(公告)号: | CN113051907B | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 程刚;张剑;王昕;刘轶;黄石磊;宋晓;杨大明 | 申请(专利权)人: | 深圳市北科瑞声科技股份有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F16/215;G06F16/22;G06F16/25 |
代理公司: | 深圳市万商天勤知识产权事务所(普通合伙) 44279 | 代理人: | 罗建平 |
地址: | 518000 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种新闻内容的查重方法、系统及装置,方法包括:对采集的新闻数据进行格式转换处理,将处理后的新闻数据转为List列表;对得到的列表进行初步的去重处理,以降低列表中新闻数据的重复度;将列表中有效数据写入数据库;对数据库中的新闻数据建立全文索引;基于全文索引,从数据库中查找与目标新闻内容重复的新闻数据。对于日益增长的数据,本发明首先对列表中的新闻数据进行初步的去重处理,再通过全文索引作进一步的新闻去重。相对于无监督的方法,本发明可以使其抽取的性能越来越好。而相对于有监督的方法,本发明对数据的依赖比现有的方法低。 | ||
搜索关键词: | 一种 新闻 内容 方法 系统 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市北科瑞声科技股份有限公司,未经深圳市北科瑞声科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911364865.5/,转载请声明来源钻瓜专利网。
- 上一篇:一种公告信息元素抽取方法、系统及装置
- 下一篇:网络拓扑发现方法及装置
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法