[发明专利]一种网络信息获取方法、系统及企业信息搜索系统

说明书

本发明涉及一种网络信息获取方法、系统及企业信息搜索系统，包括获取与指定信息关联的网页信息，根据所选择的检索策略获取关联网页的对象页面，并提取对象页面中的数据信息。本发明通过爬虫技术和具有针对性的检索策略，完成数据在深网的挖掘，使用户能够在短时间内获取到大量的有效数据，避免到各个独立网站一一查询，为用户提供了一站式的信息服务，提高了采集数据的效率。

技术领域

本发明涉及一种网络信息获取的方法和系统，特别是一种基于爬虫系统的网页信息获取方法和系统。。

背景技术

在当前的大数据时代，网络上的海量资源让使用者应接不暇，大量分布的、易购的信息应运而生。例如，如果需要获取企业的相关信息，可以直接通过包括国家企业信用信息公示系统、中国法院裁判文书网、中国执行信息公开网、国家知识产权局官方网站、国家工商总局商标局官方网站、国家版权局官方网站以及招聘网等相关官方网站查找。然而，上述各类网站所涉及的企业信息各不相同，例如，国家企业信用信息公示系统包括营业执照信息、主要人员等信息，裁判文书网主要针对判决信息，政府网站通常包含有企业信用数据和中标数据，而招聘网则更多地涉及职位、工资等信息。可见，不同的信息来源于不同的网络平台，而平台上的数据通常是独立且不共享的，如果想有针对性地获取一个或多个企业的相关信息，则需要通过不同的平台进行查询，对用户来说较为繁琐。

另一方面，企业的工商信息、招聘信息、涉及的裁判文书、以及知识产权信息等具有深层网络的性质，其中，深网的概念是相对于表层网定义的，指的是那些不能被普通搜索营运所获取的内容。为了有效便捷地获取所需的网络信息和资源，搜索引擎作为常用的信息检索工具成为了用户访问互联网的入口和平台。但是，通用的搜索引擎具有一定的局限性，对深网的内容往往难以获取，并且会返回大量用户不关心的网页，降低了获取有效信息的效率。而一些提供企业信息的平台，更存在更新不及时的问题。

因此，如何方便快捷的获取全面的企业信息是当前网络信息获取中所存在的问题，有必要提出一种互联网数据高效获取的方法和系统，实现定向获取用户所需的企业最新信息。

发明内容

传统的企业信息网站获取数据的方法存在较多的局限性，一是无法通过传统的搜索引擎准确有效地获取大量隐藏在深网中的完整的高质量数据，二是采用一一遍历的信息搜索方式会浪费大量的系统资源，使得信息获取的时间过长，效率低下。针对上述问题，本发明公开了一种网络信息获取的方法和系统，特别是一种基于爬虫系统的网页信息获取方法和系统，用于获取所需的企业相关信息。

针对上述信息获取过程中所存在的问题，本发明提出了一种数据信息获取方法，用于获取与（用户）指定的信息相关联的数据信息，所述方法包括：根据所述指定的信息获取对应的网页信息；根据所述网页的布局方式确定检索策略；根据所述检索策略获取对象页面；提取所述页面中的所述数据信息。

进一步的，所述根据所述指定的信息获取对应的网页信息包括：基于HTTP协议获取所述对应的网页，并接收返回的所述网页信息。

进一步的，所述检索策略包括深度优先检索、广度优先检索和/或二者的结合。

进一步的，所述根据检索策略获取对象页面包括：通过多线程网络爬虫获取一个或多个所述对象页面的URL并下载所述对象页面。

进一步的，所述提取所述页面中的所述数据信息包括：获取URL队列中的URL地址，对URL地址进行DNS域名解析，建立与所述URL对应的服务器的Socket连接，并发送请求获取所述页面的HTML数据文件，其中，HTML数据文件包含有所述数据信息。

进一步的，所述方法还包括获取所述网页的更新信息，所述获取所述网页的更新信息的步骤包括定期回访抓取过的网页、检测网页有无变化、去除坏死链接和/或更新数据库。

以及，其中，所述指定信息为企业名称，所述数据信息为与所述企业相关的数据信息。