[发明专利]一种面向精准搜索的网站结构化标注方法和系统

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种面向精准搜索的网站结构化标注方法和系统。

背景技术

随着互联网的快速发展，互联网已经成为最重要的信息发布平台。然而，面对互联网信息爆炸式的增长，如何快速、有效的获取用户需要的信息，成为一个亟待解决的问题。于是，搜索引擎应运而生。搜索引擎是一种根据预定的策略运用特定的方法从互联网上搜集信息，并对信息进行组织和处理，以为用户提供检索服务、并向用户展示搜索结果的系统。搜索引擎可以帮助人们通过搜索关键字来获取网页信息，数据采集是搜索引擎的基础。但由于技术和成本的约束，目前并不存在能够采集互联网上的全部数据的搜索引擎。现有技术的搜索引擎的数据采集方式均为抽样采集。

现有技术中，通用的搜索引擎其数据采集入口通常是根据用户输入的关键词从互联网上任意一个页面开始，使用爬虫程序进行数据采集，然后爬虫程序顺着初始页面的链接开始随机采集数据。由于通用搜索引擎面向的用户是全网用户，其采集的数据往往会兼顾所有用户的需求，因此这种随机采集数据的方式基本能够满足普通用户的需求。

然而，发明人在实现本发明的过程中发现现有技术至少存在以下缺陷：在现有技术中，由于通用的搜索引擎是针对全网用户进行搜索，其采集的数据内容在各个领域基本上是平均分布，又由于抽样采集的样本是有限的，所以无法针对特定领域的搜索请求提供准确、全面的深度搜索结果。此外，通用的搜索引擎由于信息采集源的限制，无法判断作为信息采集源的网站、频道是否是对用户最有价值的信息源，不能够满足用户对搜索内容质量和深度的要求。

发明内容

为了解决上述技术问题，本发明实施例提供了一种面向精准搜索的网站结构化标注方法和系统，可以通过为网站进行结构化标注，以提供面向精准搜索的更准确、全面的深度信息采集入口，以为用户提供更加准确、全面的深度搜索结果。

根据本发明实施例的第一方面，公开了一种面向精准搜索的网站结构化标注方法，所述方法包括：

对互联网网站进行抽样采集，对获取的网站采集样本集合进行数据加工和处理以构建基础网站库；

利用结构化指标对基础网站库中的网站进行标注，生成结构化的网站采集样本；

接收用户的搜索请求，根据用户的搜索请求中携带的结构化指标参数在所述结构化的网站采集样本中搜索，以获取与所述结构化指标参数匹配的网站，利用所述网站对应的网页地址生成信息采集入口集合。

结合本发明的第一方面，本发明还具有第一种可能的实现方式，即所述对互联网网站进行抽样采集，对获取的网站采集样本集合进行数据加工和处理以构建基础网站库包括：

根据互联网网站的排名信息进行数据抽取，获取网站采集样本集合；

采集网站采集样本集合中的网站的访问量信息；

根据网站的访问量信息对网站数据进行数据清洗、数据校验和装载、数据分类、元数据抽取、数据融合处理，以构建基础网站库。

结合本发明的第一方面，本发明还具有第二种可能的实现方式，即所述利用结构化指标对基础网站库中的网站进行标注，生成结构化的网站采集样本包括：

利用结构化指标对基础网站库中的网站进行标注，为网站设置不同的网站参数，所述网站参数至少包括参数属性和参数标签。

结合本发明的第一方面和本发明的第二种可能的实现方式，本发明还具有第三种可能的实现方式，即所述结构化指标包括网站性质信息、网站属性信息、网站地域信息、网站排名信息、网站行业信息、网站管辖范围信息、网站用途信息、是否为政府网站信息中的一种或多种。

结合本发明的第一方面，本发明还具有第四种可能的实现方式，即所述方法还包括：

当互联网网站的排名信息和/或访问量信息发生更新时，根据更新后的排名信息和/或访问量信息对互联网网站进行数据抽取，以获取更新后的基础网站库。

根据本发明实施例的第二方面，公开了一种面向精准搜索的网站结构化标注系统，所述系统包括：

基础网站库构建单元，用于对互联网网站进行抽样采集，对获取的网站采集样本集合进行数据加工和处理以构建基础网站库；

结构化标注单元，用于利用结构化指标对基础网站库中的网站进行标注，生成结构化的网站采集样本；

信息采集入口集合生成单元，用于接收用户的搜索请求，根据用户的搜索请求中携带的结构化指标参数在所述结构化的网站采集样本中搜索，以获取与所述结构化指标参数匹配的网站，利用所述网站对应的网页地址生成信息采集入口集合。