[发明专利]处理网页数据的方法和装置

说明书

技术领域

本发明涉及计算机网络技术领域，特别地涉及一种处理网页数据的方法和装置。

背景技术

随着计算机网络的广泛应用，计算机网络中的信息量也日益增大。在一些应用场合，要求尽可能高效地并且有选择性地获取网页中的信息，因此需要对网页数据进行一定的处理。目前通常基于DOM对象来处理网页中的信息，根据网页数据形成DOM对象然后提供给需要网络信息的用户。用户在得到DOM对象后，可以对其作进一步处理，例如提取其中感兴趣的数据。

对于网页数据的处理，比较耗费计算机硬件资源的工作在于处理网页中的动态内容。动态内容在页面源代码中是不可见的，例如以推送(POST)的方式或异步JavaScript和XML(Asynchronous JavaScript and XML，AJAX)方式传递到浏览器，此时通常通过执行一些程序代码来实现动态内容的获取。基于DOM对象的网页数据处理方式，针对动态内容的处理目前通常有两种。

一种是获取ajax访问的链接然后再访问此链接从而获取动态内容。这种方式需要人为的干预，即使是程序自动化也需要人为前期干预，同时对于一些复杂的页面，这种方式的代码编写较为复杂，不易维护。当页面有多处动态内容时就会访问多次从而分别获得动态内容，这样就不能得到单一的DOM对象，不便于用户对于DOM对象的数据提取和后续处理。

另一种方式是通过浏览器内核来获取动态内容。

浏览器内核加载页面时，通常会将所有的节点进行加载，例如加载图片节点(img节点)时，会将该图片节点下载下来。浏览器内核可以执行js(java script脚本语言)并将所有的内容加载到一个DOM中，这样能够得到单一的DOM对象。但这种将所有的节点进行加载的方式比较耗时和耗网络带宽。此外，由于浏览器内核多为c/c++语言编写，因此不能兼容各种计算机操作系统。

发明内容

有鉴于此，本发明提供一种处理网页数据的方法和装置，能够在占用较少时间和较少网络带宽的情况下形成DOM对象，并有助于形成单一的DOM对象，另外能够在多种计算机操作系统中应用。

为实现上述目的，根据本发明的一个方面，提供了一种处理网页数据的方法。

本发明的处理网页数据的方法包括：根据预设的过滤规则选择网页中的节点；解析所述网页中未被选择的节点的信息得到第一格式的DOM对象；将所述第一格式的DOM对象转换为预选格式的DOM对象。

可选地，解析所述网页中未被选择的节点的信息得到第一格式的DOM对象包括：对所述未被选择的节点的信息进行解析形成初始DOM对象；执行所述未被选择的节点的信息中的程序代码以获得动态数据，将所述动态数据添加到所述初始DOM对象中，得到所述第一格式的DOM对象。

可选地，执行所述未被选择的节点的信息中的程序代码以获得动态数据之前，所述方法还包括：确定所述未被选择的节点的代码中需要人为触发的程序，然后触发该程序的代码的执行。

可选地，所述程序代码为java script程序代码。

可选地，将所述第一格式的DOM对象转换为预选格式的DOM对象之前，所述方法还包括：确认已根据所述预设的过滤规则完成所述网页中所有节点的选择。

可选地，所述预选格式为W3C标准规定的DOM格式。

根据本发明的另一方面，提供了一种处理网页数据的装置。

本发明的处理网页数据的装置包括：过滤模块，用于根据预设的过滤规则选择网页中的节点；解析模块，用于解析所述网页中未被选择的节点的信息得到第一格式的DOM对象；桥接模块，用于将所述第一格式的DOM对象转换为预选格式的DOM对象。

可选地，所述解析模块还用于：对所述未被选择的节点的信息进行解析形成初始DOM对象；执行所述未被选择的节点的信息中的程序代码以获得动态数据，将所述动态数据添加到所述初始DOM对象中，得到所述第一格式的DOM对象。

可选地，所述解析模块还用于：确定所述未被选择的节点的代码中需要人为触发的程序，然后触发该程序的代码的执行。

可选地，所述程序代码为java script程序代码。

可选地，所述桥接模块还用于：确认已根据所述预设的过滤规则完成所述网页中所有节点的选择。

可选地，所述过滤模块和所述解析模块采用C或C++语言实现，并且所述桥接模块采用java语言实现。

可选地，所述预选格式为W3C标准规定的DOM格式。