[发明专利]一种基于多源信息融合的互联网视频爬虫方法、系统及搜索系统

说明书

本发明实施例公开了一种基于多源信息融合的互联网视频爬虫方法、系统及搜索系统，该方法、系统及搜索系统，根据用户输入的检索信息获取初始视频页面，并提取每个初始视频页面的页面信息，页面信息中至少包括页面内含有的视频页面的URL、页面文字以及页面图片。利用页面信息内包含的多源信息获取初始视频页面与检索信息之间的相关性数值，进一步根据初始视频页面与检索信息之间的相关性数值，确定最终展示给用户的结果视频页面，以快速、准确、全面地获取用户所需视频页面。

技术领域

本发明涉及互联网视频爬虫技术领域，特别是涉及一种基于多源信息融合的互联网视频爬虫方法、系统及搜索系统。

背景技术

目前，随着计算机硬件处理能力的不断增强以及网络带宽的逐年扩容，通过互联网在线观看视频已经成为常态。然而，互联网视频数据量巨大，要在其中快速检索到符合需求的视频并非易事，由此，网络爬虫技术应运而生。

网络爬虫技术能够按照一定的规则，自动地抓取万维网信息，被广泛应用于互联网搜索系统。通常情况下，网页中除包含供用户阅读的文字信息外，还附有超链接信息，网络爬虫技术通过网页中的超链接信息不断获取网络上的其它网页，以此为搜索系统提供数据来源。当前，基于网络爬虫技术检索视频的方式主要包括以下两种：1、根据视频名称、视频中出现的关键人物、视频来源等关键词检索；2、根据视频的分类目录检索。

第1种方法本质上基于关键词的匹配，采用该方法所获得的检索结果，往往包含大量视频页面，且视频的内容差异较大，很难满足用户的特定需求，因此，用户不得不花费时间进行二次鉴别，用户体验铰差。

第2种方法适用于有限范围内视频的检索，例如，在已为视频进行过分类处理的专业视频网站中，对某一种类视频的检索。但面对互联网的海量视频，将所有视频进行分类处理并不现实，且类别的数量有限，导致该方法的灵活性较差。

为此，亟需一种新型互联网视频爬虫方法，能够降低检索成本，提高检索效率，帮助用户快速、简便地获得所需视频页面。

发明内容

本发明实施例中提供了一种基于多源信息融合的互联网视频爬虫方法、系统及搜索系统，以解决现有互联网视频爬虫方法检索效率低、检索成本大及灵活性差的问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

一种基于多源信息融合的互联网视频爬虫方法，包括：

根据用户输入的检索信息获取初始视频页面；

提取每个初始视频页面的页面信息，所述页面信息至少包括页面内含有的视频页面的统一资源定位符URL、页面文字以及页面图片；

利用所述页面信息获取初始视频页面与检索信息之间的相关性数值；

根据所述相关性数值确定最终展示给用户的结果视频页面。

可选的，根据用户输入的检索信息获取初始视频页面，包括：

获取用户输入的检索信息；

利用互联网搜索系统或视频网站，获取与所述检索信息相匹配的视频页面，作为初始视频页面。

可选的，所述根据所述相关性数值确定最终展示给用户的结果视频页面，包括：

判断是否存在相关性数值符合预设筛选条件的初始视频页面，

如果存在，将相关性数值符合预设筛选条件的初始视频页面确定为结果视频页面。

可选的，所述利用所述页面信息获取初始视频页面与检索信息之间的相关性数值，包括：

判断数据库中是否存储初始视频页面与检索信息之间的相关性数值，

如果是，获取数据库中存储的所述相关性数值；