[发明专利]Web系统的数据资源模型化提取方法、装置以及设备

权利要求书

1.一种Web系统的数据资源模型化提取方法，应用于客户端，其特征在于，包括：

确定用户对Web网页的标记区域；

检测所述标记区域对应的Web数据的页面结构类型；

获取与所述页面结构类型相匹配的提取模型；

根据所述提取模型的模型结构，结构化地输出所述Web数据；

其中，所述页面结构类型包括：文本信息类结构、信息列表类结构、表格类结构和表单类结构；

所述文本信息类结构对应的提取模型中至少包含以下数据单元：标题、作者、时间以及正文；

所述信息列表类结构对应的提取模型中至少包含以下数据单元：栏目和列表元素；

所述表格类结构对应的提取模型中至少包含以下数据单元：表头和表内容；

所述表单类结构对应的提取模型中至少包含以下数据单元：描述性文字和实际内容。

2.根据权利要求1所述的Web系统的数据资源模型化提取方法，其特征在于，所述根据所述提取模型的模型结构，结构化地输出所述Web数据，包括：

根据所述提取模型中包含的各数据单元，从所述标记区域对应的html文档中获取所述各数据单元的内容；

按照所述各数据单元在所述提取模型中排列成的所述模型结构，将获取到的所述各数据单元的内容进行结构化地排列，并输出。

3.根据权利要求1所述的Web系统的数据资源模型化提取方法，其特征在于，所述表单类结构对应的提取模型中各数据单元按左右结构排列，左边为所述描述性文字，右边为所述实际内容。

4.根据权利要求1所述的Web系统的数据资源模型化提取方法，其特征在于，在检测出所述标记区域对应的Web数据的页面结构类型后，还包括：

根据所述页面结构类型，判断是否需要对所述标记区域对应的html文档进行JavaScript静态代码解析；以及

如果需要进行所述JavaScript静态代码解析，则进行所述JavaScript静态代码解析；

所述根据所述提取模型的模型结构，结构化地输出所述Web数据，包括：

对于在进行所述JavaScript静态代码解析后从Web服务器获取的新Web数据，根据所述提取模型的模型结构，结构化地输出所述新Web数据。

5.根据权利要求4所述的Web系统的数据资源模型化提取方法，其特征在于，还包括：

在进行所述JavaScript静态代码解析时，从所述JavaScript静态代码中找到ajax请求，并重构所述ajax请求；

将重构后的ajax请求发送给所述Web服务器，以从所述Web服务器获取所述新Web数据。

6.根据权利要求1所述的Web系统的数据资源模型化提取方法，其特征在于，所述确定用户对Web网页的标记区域，包括：

接收用户输入的网址，并加载所述网址对应的所述Web网页；

接收用户对所述Web网页的部分区域或全部区域的框选操作；

将所述框选操作所框选的区域确定为所述标记区域。

7.根据权利要求1所述的Web系统的数据资源模型化提取方法，其特征在于，所述检测所述标记区域对应的Web数据的页面结构类型，包括：

从所述Web网页对应的DOM树中确定所述标记区域在所述DOM树中的位置和属性；

根据所述标记区域在所述DOM树中的位置和属性，确定所述标记区域对应的Web数据的页面结构类型。