[发明专利]一种视听网站库构建方法、视听网站巡检方法和系统有效
申请号: | 201711173735.4 | 申请日: | 2017-11-22 |
公开(公告)号: | CN107819781B | 公开(公告)日: | 2020-07-31 |
发明(设计)人: | 李国华;白冰;张兆磊;申强 | 申请(专利权)人: | 北京市博汇科技股份有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;G06F16/958 |
代理公司: | 北京弘权知识产权代理事务所(普通合伙) 11363 | 代理人: | 逯长明;许伟群 |
地址: | 100094 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视听 网站 构建 方法 巡检 系统 | ||
1.一种视听网站库构建方法,其特征在于,所述方法包括:
从至少三种扫描方式的域名扫描结果中,获取本地域名库;
根据所述本地域名库,获取本地网站的分类信息,所述分类信息至少包括网页关键词和网页描述信息;
根据所述分类信息,对所述本地网站进行分类,生成本地视听类待审网站库;
根据所述本地视听类待审网站库,从本地视听类待审网站的网页中获取网站许可信息,所述网站许可信息至少包括ICP备案信息;
根据所述本地视听类待审网站库和所述网站许可信息,构建本地视听网站库。
2.根据权利要求1所述的方法,其特征在于,所述从至少三种扫描方式的域名扫描结果中,获取本地域名库的步骤,包括:
根据IP端口扫描,域名库定向扫描,以及全网蔓延扫描方式,获取所述域名扫描结果;
对所述域名扫描结果进行数据合并,取交集,以及数据清洗,去除非本地域名,生成本地域名库。
3.根据权利要求1所述的方法,其特征在于,所述根据本地视听类待审网站库和所述网站许可信息,构建本地视听网站库的步骤之前,还包括:
校验所述许可信息,当所述许可信息有误时,更正所述许可信息。
4.一种视听网站巡检方法,其特征在于,所述方法包括:
根据本地视听网站库,创建本地视听网站的巡检队列;
从所述巡检队列中获取当前被检网站,采集所述当前被检网站的网站信息,所述网站信息包括分类信息、网页截屏和全部链接文本信息中的至少一项;
根据所述网站信息,对所述当前被检网站进行数据监测,所述数据监测包括网站类型监测、网站版面监测、网站有效性监测和网站内容监测中的至少一项;
根据对所述当前被检网站进行数据监测的结果,更新所述当前被检网站的巡检历史信息库,如果所述巡检历史信息库不存在,则创建所述巡检历史信息库;
根据对所述当前被检网站进行数据监测的结果,更新所述本地视听网站库。
5.根据权利要求4所述的方法,其特征在于,所述网站类型监测,包括:
根据所述分类信息,获取所述当前被检网站是否为视听类网站;
如果不为视听类网站,则网站类型发生变化。
6.根据权利要求4所述的方法,其特征在于,所述网站版面监测,包括:
从所述当前被检网站的首页截屏中获取所述当前被检网站的版面信息;
将所述版面信息与所述当前被检网站的预存版面信息进行一致性比对;
如果一致性低于预设阈值,则网站版面发生变化。
7.根据权利要求4所述的方法,其特征在于,所述网站有效性监测,包括:
分析采集所述网站信息时,是否返回失败信息;
如果返回失败信息,则所述当前被检网站已失效。
8.根据权利要求4所述的方法,其特征在于,所述网站内容监测,包括:
根据预设敏感词信息库,从所述链接文本信息中获取敏感文本;
如果获取到所述敏感文本,分析所述当前被检网站中是否存在有害内容;
如果存在所述有害内容,获取所述有害内容的类型,生成有害内容分类统计结果。
9.根据权利要求4所述的方法,其特征在于,所述网站版面监测,还包括:
当所述网站版面发生变化时,保存所述网页截屏,并对所述网页截屏添加截屏时间戳。
10.一种视听网站巡检系统、其特征在于,所述系统包括:
存储器和处理器;
所述存储器,用于存储本地视听网站库、巡检历史信息库、网站信息,以及所述处理器的可执行程序;
所述处理器被配置为:
根据所述本地视听网站库,创建本地视听网站的巡检队列;
从所述巡检队列中获取当前被检网站,采集所述当前被检网站的所述网站信息,所述网站信息包括分类信息、网页截屏和全部链接文本信息中的至少一项;
根据所述网站信息,对所述当前被检网站进行数据监测,所述数据监测包括网站类型监测、网站版面监测、网站有效性监测和网站内容监测中的至少一项;
根据对所述当前被检网站进行数据监测的结果,更新所述当前被检网站的所述巡检历史信息库,如果所述巡检历史信息库不存在,则创建所述巡检历史信息库;
根据对所述当前被检网站进行数据监测的结果,更新所述本地视听网站库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市博汇科技股份有限公司,未经北京市博汇科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711173735.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种旅游地图支架
- 下一篇:一种机械设计用图纸挂架