[发明专利]一种视听网站库构建方法、视听网站巡检方法和系统

说明书

本申请实施例公开了一种视听网站库构建方法、视听网站巡检方法和系统，通过至少一种扫描方式，准确获取本地视听网站，构建本地视听网站库，确定了本地视听网站的巡检监测目标。根据已构建的本地视听网站库，创建本地视听网站的巡检队列，对本地视听网站库中的视听网站进行数据监测，然后将数据监测结果保存至巡检历史信息库，更新本地视听网站库。当对一个本地视听网站完成监测后，根据巡检队列监测下一个网站，实现循环监测巡检队列中的本地视听网站，从而，降低了网站监测时的网络资源和硬件资源的消耗，解决了现有技术中监测效率低、监测不及时、或出现遗漏监测等问题，实现了对本地互联网视听网站进行全面及时地监测。

本申请涉及互联网信息处理技术领域，尤其涉及一种视听网站库构建方法、视听网站巡检方法和系统。

背景技术

随着互联网视听技术的发展，互联网视听网站的数量不断增加，视听内容愈加丰富，用户通过视听网站获取视听内容的需求逐渐提高，互联网视听节目的影响力迅速扩大，迫切地需要对视听网站和互联网视听节目进行监管和引导，以促进互联网视听行业的健康发展。而对视听网站和互联网视听节目进行监管，首先要实现对互联网视听网站的监测。

现有技术的互联网视听网站监测方法，主要通过在互联网释放爬虫来发现新的本地网站，并通过网页源代码中“title”标签内的关键词来判断网站的类型，属于无目的性的监测，通过上述现有技术采集网站数据的方式单一，爬虫覆盖的网站也不够全面，导致一些本地网站没有被获取到或者获取本地网站的效率很低；并且，由于“title”标签里的关键词信息有限，也无法准确地判断网站类型，例如，某视听网站的“title”标签中的内容为“优酷–这世界很酷”，此时，无法通过“title”标签中的关键词来准确判断该网站是否为视听网站。

此外，现有技术中，对互联网视听网站的监测采用的是全站实时监测的方式，即对所有已知的互联网视听网站的数据进行实时监控，但是，由于在一个监测区域范围内，视听网站的数量会有时会非常巨大，当本地视听网站的数量较大时，现有技术的全站实时监测的方式会消耗大量的网络资源和硬件资源，导致既有的网络资源和硬件资源无法承载全站实时监测的需求，导致监测效率低，监测不及时等问题。

因此，现有技术的互联网视听网站监测方法无法实现对本地互联网视听网站进行全面及时地监测。

发明内容

本申请实施例提供了一种视听网站库构建方法、视听网站巡检方法和系统，以解决现有技术中存在的问题。

第一方面，本申请实施例提供了一种视听网站库构建方法，所述方法包括：从至少一种扫描方式的域名扫描结果中，获取本地域名库；根据所述本地域名库，获取本地网站的分类信息，所述分类信息至少包括网页关键词和网页描述信息；根据所述分类信息，对所述本地网站进行分类，生成本地视听类待审网站库；根据所述本地视听类待审网站库，从本地视听类待审网站的网页中获取网站许可信息，所述网站许可信息至少包括ICP 备案信息；根据所述本地视听类待审网站库和所述网站许可信息，构建本地视听网站库。

第二方面，本申请实施例提供了一种视听网站巡检方法，所述方法包括：根据本地视听网站库，创建本地视听网站的巡检队列；从所述巡检队列中获取当前被检网站，采集所述当前被检网站的网站信息，所述网站信息包括分类信息、网页截屏和全部链接文本信息中的至少一项；根据所述网站信息，对所述当前被检网站进行数据监测，所述数据监测包括网站类型监测、网站版面监测、网站有效性监测和网站内容监测中的至少一项；根据对当前被检网站进行数据监测的结果，更新所述当前被检网站的巡检历史信息库，如果所述巡检历史信息库不存在，则创建所述巡检历史信息库；根据对当前被检网站进行数据监测的结果，更新所述本地视听网站库。