[发明专利]一种基于浏览器的网页内容采集系统及其采集方法

说明书

本发明公开了一种基于浏览器的网页内容采集系统及其采集方法，采集系统由云端程序模块和前端程序模块两部分组成，云端程序模块用于模拟浏览器向对应的采集目标发起访问请求，并将接收到的内容格式化后返回给调用其接口的前端程序模块，前端程序模块根据外部应用的需求，针对指定的网页提取采集规则和验证采集规则。采集方法包括工作区初始化和工作区操作两部分，工作区操作流程包括提取采集规则流程和验证采集规则流程。本发明采用云端技术与浏览器相结合的方式，成功地解决了现有技术在跨平台上存在的问题，且基于本发明的产品不依赖具体的操作系统和具体的浏览器。

技术领域

本发明涉及互联网数据应用技术领域，尤其涉及一种基于浏览器的网页内容采集系统及其采集方法。

背景技术

目前，基于互联网数据的应用越来越广泛，常见的应用有垂直搜索、舆情系统等。这类应用有一个最基本的工作环节，就是针对互联网数据的采集。互联网数据最主要的一个来源就是各个网站的网页内容。

众所周知，每个网站都会有自己的设计风格，网页结构不可能完全相同。尽管很多网页内容可以通过一些通用的采集规则来完成采集工作。可是依然存在大量需要手动提取采集规则的网页资源。

为了因应这个需求，市场上出现了很多基于桌面客户端的采集工具，例如火车采集器等。也有公司研发了一些基于浏览器插件的采集工具。

但是，现有技术存在以下不足之处：

无法跨平台是众多客户端应用都存在的先天性不足，基于桌面客户端的采集工具自然也不例外。客户端应用在windows xp时代曾经无比辉煌，但随着windows平台的更新换代，以及苹果系统、安卓系统甚至各种linux桌面系统的普及，客户端应用在跨平台上的短板越来越清晰地暴露出来。现在的用户希望随时随地都能处理自己的工作，而不被时间、地点甚至具体的设备所束缚。这也正是如今基于云端的应用越来越受欢迎的原因。而基于浏览器插件的采集工具一直未能普及，其原因在于该工具对于具体的浏览器种类甚至版本有过度的依赖。这类工具只适用于在小范围内安装使用，不利于推广。

现有的网页内容采集工具之所以使用桌面客户端形式或浏览器插件形式，最主要的原因就是浏览器的同源策略导致跨域获取网页内容受阻，从而无法直接使用浏览器来提取采集规则。

基于互联网数据的应用是否能有好的使用效果，很大程度上取决于数据的及时性和准确性。而作为采集目标的网站或许随时都会发生变化，大到网站改版，小到网页优化。这些变化促使从事采集工作的人员不得不及时去更新采集规则。为了随时随地能处理自己的工作，这些工作人员往往需要在不同设备上安装、升级和维护相关的客户端软件。而现在的人们不会只使用同一种智能终端，甚至不会只使用同一种操作系统平台。这样解决问题的方法越来越不被接受。

发明内容

本发明针对上述现有技术的不足，提供了一种基于浏览器的网页内容采集系统及其采集方法，其可以在不安装任何插件或客户端工具的情况下直接使用浏览器提取采集规则，成功地解决了现有技术在跨平台上存在的问题。

为解决现有技术中存在的问题，采用的具体技术方案是：

一种基于浏览器的网页内容采集系统，其包括云端程序模块和前端程序模块，所述云端程序模块用于模拟浏览器向对应的采集目标发起访问请求，以及将接收到的内容格式化后返回给调用其接口的前端程序模块；所述前端程序模块根据外部应用的需求，针对指定的网页提取采集规则和验证采集规则；所述云端程序模块提供了两个接口：网页代理访问接口和引用资源代理访问接口；所述前端程序模块提供了两个接口：与工作区相连的工作区接口和与跨域通讯组件相连的跨域通讯组件接口。

前端程序模块是指在浏览器端运行的程序部分，云端程序模块是指在服务器上运行的程序部分，外部应用指的是使用本发明的相关程序，采集目标是指外部应用需要采集内容的网站。

优选的方案，所述工作区以网页的形式提供给外部应用通过IFrame嵌套调用。