[发明专利]Web系统的数据资源模型化提取方法、装置以及设备

说明书

本发明涉及通信技术领域，提供了一种Web系统的数据资源模型化提取方法、装置以及设备，旨在解决现有提取方法存在具有较高技术门槛、提取方法复杂的问题。所述Web系统的数据资源模型化提取方法包括：确定用户对Web网页的标记区域；检测所述标记区域对应的Web数据的页面结构类型；获取与所述页面结构类型相匹配的提取模型；根据所述提取模型的模型结构，结构化地输出所述Web数据。使用所述方法后，对于用户，仅需对网页上的某一区域进行标记，客户端会自动进行上述检测页面结构类型、获取提取模型、结构化地输出Web数据等步骤，用户不需要每次在提取数据前进行编辑代码或编辑提取规则等操作，也不需要在每次提取后手动对数据进行结构组织。

技术领域

本发明涉及通信技术领域，具体而言，涉及一种Web系统的数据资源模型化提取方法、装置以及设备。

背景技术

随之Web技术的发展以及大数据时代的到来，Web系统包含越来越多的数据信息，Web数据提取是指从浏览器加载的网页上提取所需信息的过程，现有技术已提出了多种Web数据提取方法。

例如每次提取时，针对所需信息的具体情况，通过编写程序代码以提取所需信息；又例如每次提取时，针对所需信息的具体情况，通过编辑提取规则(如正则表达式)以提取所需信息；还例如当提取出多份数据后，需要选取出每份数据，并手动对选取的数据进行结构组织，形成结构化数据，比如将零散的、无组织的数据组织成列表数据。

然而如上所述的各种现有Web数据提取方法，均具有较高的技术门槛，提取方法复杂，导致Web数据提取所需的人力成本和时间成本较高。

发明内容

有鉴于此，本发明的目的在于提供一种Web系统的数据资源模型化提取方法、装置以及设备，旨在解决现有提取方法存在具有较高技术门槛、提取方法复杂的问题。

第一方面，本发明实施例提供了一种Web系统的数据资源模型化提取方法，应用于客户端，包括：

确定用户对Web网页的标记区域；

检测所述标记区域对应的Web数据的页面结构类型；

获取与所述页面结构类型相匹配的提取模型；

根据所述提取模型的模型结构，结构化地输出所述Web数据。

可选地，所述根据所述提取模型的模型结构，结构化地输出所述Web数据，包括：根据所述提取模型中包含的各数据单元，从所述标记区域对应的html文档中获取所述各数据单元的内容；按照所述各数据单元在所述提取模型中排列成的所述模型结构，将获取到的所述各数据单元的内容进行结构化地排列，并输出。

可选地，所述页面结构类型包括：文本信息类结构、信息列表类结构、表格类结构和表单类结构；所述文本信息类结构对应的提取模型中至少包含以下数据单元：标题、作者、时间以及正文；所述信息列表类结构对应的提取模型中至少包含以下数据单元：栏目和列表元素；所述表格类结构对应的提取模型中至少包含以下数据单元：表头和表内容；所述表单类结构对应的提取模型中至少包含以下数据单元：描述性文字和实际内容。

可选地，所述表单类结构对应的提取模型中各数据单元按左右结构排列，左边为所述描述性文字，右边为所述实际内容。

可选地，在检测出所述标记区域对应的Web数据的页面结构类型后，所述Web系统的数据资源模型化提取方法还包括：根据所述页面结构类型，判断是否需要对所述标记区域对应的html文档进行JavaScript静态代码解析；以及如果需要进行所述JavaScript静态代码解析，则进行所述JavaScript静态代码解析；所述根据所述提取模型的模型结构，结构化地输出所述Web数据，包括：对于在进行所述JavaScript静态代码解析后从Web服务器获取的新Web数据，根据所述提取模型的模型结构，结构化地输出所述新Web数据。