[发明专利]一种甄别音视频网站的方法及系统

说明书

本发明提供了一种甄别音视频网站的方法，基于中心系统和多个与所述中心系统通信的地域系统，该方法包括以下步骤：S1、中心系统通过爬虫采集域名信息；S2、对所述域名信息通过AC自动机对疑似音视频网站的域名进行标记；S3、接收地域系统请求，同步项目所属地域的域名信息给所述地域系统；S4、所述地域系统将接收到的疑似音视频网站放到爬虫采集，根据爬虫的采集情况，判断域名是否为音视频网站。本发明还提供了对应的甄别音视频网站的系统。本发明能自动、快速甄别音视频网站，及提供了高效、便捷的域名信息统一维护方法。

技术领域

本发明涉及计算机互联网领域，更具体地说，涉及一种甄别音视频网站的方法及装置。

背景技术

随着互联网技术的快速发展，音视频内容的传播也随之越来越广泛。然而侵权、盗版、涉黄随处可见，为了限制这些不合法信息的传播，需要对大量视频网站进行监控。如何自动获取视音频网站，如何甄别出音视频网站，是现今监控音视频网站需要解决的难点之一，目前多数情况下只能通过人工判断来甄别出音视频网站，但是该方法费时且费力。

根据《第34次中国互联网络发展状况统计报告》，中国域名数增长到1915万。而且，为了监控音视频网站(包括获取和甄别)，获取及维护这些域名信息，需要一定的网络硬件资源，若每个本地建设系统都部署相应的网络硬件资源，则硬件成本及维护成本较高。

现阶段没有一种方便有效的方法去判断一个网站是否为视频网站，有鉴于此，为了监控日益发展的音视频网站，寻找一种快速、高效的视音频发现方法刻不容缓。

发明内容

本发明要解决的技术问题在于，针对现有技术中自动获取及甄别出视音频网站的不足，提供一种发现音视频网站的方法及装置。

本发明解决上述问题的技术方案是提供了一种发现音视频网站的方法，基于中心系统和多个与所述中心系统通信的地域系统，其特征在于：该方法包括以下步骤：

S1、中心系统通过爬虫采集域名信息；

S2、对所述域名信息通过AC自动机进行初步筛选，对疑似音视频网站的域名进行标记形成经标记的域名信息；

S3、接收地域系统请求，同步项目所属地域的域名信息给所述地域系统；

S4、所述地域系统将接收到的疑似音视频网站放到爬虫采集，根据爬虫采集情况，判断域名是否为音视频网站。

在本发明甄别音视频网站的方法中，在所述步骤S1中，通过爬虫采集所述域名信息，并将所述域名信息存入在域名库中。

在本发明甄别音视频网站的方法中，在所述步骤S2中，通过AC自动机对所述域名信息中的网站标题、关键字、描述信息进行比对命中，并进行统计，根据加权值算法，计算出命中的关键字的加权平均值，判断该加权平均值是否达到配置的第一阈值，若是，则标记所述域名信息中对应的网站为疑似音视频网站。

在本发明甄别音视频网站的方法中，在所述步骤S3中，包括以下步骤：

所述地域系统通过REST接口方式发送注册项目信息的请求和同步域名信息的请求，其中，所述注册项目信息包括项目所属地域；

根据所述同步域名信息的请求的参数和所述项目所属地域，在域名库中进行检索，并向所述地域系统返回所述项目所属地域的所述域名信息。

在本发明甄别音视频网站的方法中，所述步骤S4包括以下步骤：

S401、根据所述域名信息，所述地域系统的爬虫采集网页中的音视频特征资源；

S402、根据音视频源码中的关键字，所述地域系统的AC自动机对音视频特征资源进行比对命中；

S403、将包含命中的音视频特征的网页存入数据库中，并统计该网页的数量，其中，该网页为所述域名信息对应的网站的网页；