[发明专利]一种可配置化的数据解析方法和计算机可读存储介质

说明书

本发明涉及一种可配置化的数据解析方法，包括如下步骤：解析配置；字段配置；创建空白逻辑表，将各字段名称写入所述空白逻辑表中；抓取所述URL对应的目标网页，根据所述解析类型和解析属性提取数据对象，然后依次将其映射至所述逻辑表中，与所述字段名称形成对应关系，从而将目标网页转换成结构化的数据文本。本发明一种可配置化的数据解析方法，通过配置解析表，能够灵活应对不同格式的网页，完成网页解析，并将网页数据转换为结构化的数据文本，方便信息的应用与挖掘。

技术领域

本发明涉及一种可配置化的数据解析方法和计算机可读存储介质，属于互联网数据爬取领域。

背景技术

互联网上的信息纷繁复杂，信息类型及表达方式多种多样。所展现出来的信息仅是为了方便用户浏览，并非统一的结构化数据展示，因此并不考虑机器的识别。但由于计算机没有自然语言或者类人的阅读能力，互联网网页信息载体所展现的信息并不便于计算机识别和分析使用。在过往的IT技术发展过程中，积累了大量的基于结构化数据的挖掘分析技术，针对从互联网上抓取下来的网页非结构化数据，我们需要首先要将其转化从结构化数据，便于机器识别，从而方便后续业务单元使用。

公开号为CN108959539A的发明专利《一种基于规则可配置的网页数据解析方法》公开了的网页解析方法为：S3.网页解析：获取Web中通过任务配置配置的解析信息，并获取采集网页后的列表信息进行数据解析，通过的Python的BeautifulSoup库进行页面的解析；在解析时根据页面配置的HTML标签，以标签类型和值方式提取数据及相关标签；解析结束后，将数据存入数据库中。公开的技术方案通过Python的BeautifulSoup库来做页面文本数据的解析，但是该方法存在如下两个方面的弊端：1、Python的BeautifulSoup库只是针对HTML或XML格式的文件可以解析，支持的类型是有限的，比如无法支持Json格式网页进行解析；2、Python的BeautifulSoup库是封装模式，对于格式不一、页面类型不同的网页，其与网页灵活性的适配明显不够，尤其是对于一些特殊处理的非常规网页，或者用户选择性的筛选、过滤相关数据时，封装模式就显得无法适应了。

发明内容

为了解决上述技术问题，本发明提供一种可配置化的数据解析方法，将抓取到的目标网页，转换成标准化的结构化的数据文本，方便信息的应用与挖掘。

本发明的技术方案一如下：

一种可配置化的数据解析方法，包括如下步骤：新建解析配置页面，在解析配置页面配置要抓取的目标网页的URL、解析类型、解析属性以及用于保存解析结果的逻辑表的名称，配置完成后选择提交保存；所述解析属性包括解析区域和行定位信息，或所述解析属性仅包括行定位信息；新建字段配置页面，在字段配置页面配置所要提取的各数据对象对应的字段名称；根据逻辑表名称创建空白逻辑表，将各字段名称写入所述空白逻辑表中；抓取与所述URL对应的目标网页，根据所述解析类型和解析属性提取数据对象，具体步骤如下：根据解析区域定位待提取的数据对象所在区域，再根据所述行定位信息从所述解析区域定位待提取数据对象所在的行区域，从该些行中逐一提取数据对象，然后依次将其映射至所述逻辑表中，与所述字段名称形成对应关系，从而将目标网页转换成结构化的数据文本；或仅根据行定位信息定位待提取数据对象所在的行区域，从该些行中逐一提取数据对象，然后依次将其映射至所述逻辑表中，与所述字段名称形成对应关系，从而将目标网页转换成结构化的数据文本。