[发明专利]网页数据解析方法、装置及计算机可读存储介质

权利要求书

1.一种网页数据解析方法，其特征在于，所述方法包括：

在进行数据抓取时，针对需抓取的数据所在的网络页面，解析并获取待抓取数据所在的页面个数；

根据解析出的待抓取数据所在的页面个数，利用与所述页面个数相匹配的数据抓取方式进行数据抓取，得到抓取的页面数据；

针对抓取到的所述页面数据进行数据处理，生成所需的结构化数据并存储。

2.如权利要求1所述的网页数据解析方法，其特征在于，所述根据解析出的待抓取数据所在的页面个数，利用与所述页面个数相匹配的数据抓取方式进行数据抓取，得到抓取的页面数据，包括：

若待抓取数据在单个页面中，则从所述单个页面中提取对应的HTML文件片段；

若待抓取数据在多个页面中，则从所述待抓取数据对应的多个页面中提取对应的页面数据，并根据所述多个页面间的数据关系，将提取的页面数据生成对应的数组。

3.如权利要求2所述的网页数据解析方法，其特征在于，所述根据所述多个页面间的数据关系，将提取的页面数据生成对应的数组，包括：

根据待抓取数据对应的网络页面HTML结构中的表标签，提取所述网络页面HTML结构中的页面数据，生成包含表的标题和所述标题对应的明细数据的二维数组。

4.如权利要求1所述的网页数据解析方法，其特征在于，所述针对抓取到的所述页面数据进行数据处理，生成所需的结构化数据并存储，包括：

从抓取到的所述页面数据中抽取出结构化数据，得到抽取后余下的非结构化数据；

针对非结构化数据，利用数据加工引擎，按照预设的配置文件，对所述非机构数据进行格式转换，生成所需的结构化数据；

将抽取出的所述结构化数据与生成的所述结构化数据均保存至分布式存储型数据库中。

5.如权利要求1至4任一项所述的网页数据解析方法，其特征在于，所述针对抓取到的所述页面数据进行数据处理，生成所需的结构化数据并存储，之前还包括步骤：

对抓取到的所述页面数据进行数据清洗。

6.一种网页数据解析装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的网页数据解析程序，所述网页数据解析程序被所述处理器执行时实现如下步骤：

在进行数据抓取时，针对需抓取的数据所在的网络页面，解析并获取待抓取数据所在的页面个数；

根据解析出的待抓取数据所在的页面个数，利用与所述页面个数相匹配的数据抓取方式进行数据抓取，得到抓取的页面数据；

针对抓取到的所述页面数据进行数据处理，生成所需的结构化数据并存储。

7.如权利要求6所述的网页数据解析装置，其特征在于，所述网页数据解析程序还可被所述处理器执行，以在根据解析出的待抓取数据所在的页面个数，利用与所述页面个数相匹配的数据抓取方式进行数据抓取，得到抓取的页面数据，包括：

若待抓取数据在单个页面中，则从所述单个页面中提取对应的HTML文件片段；

若待抓取数据在多个页面中，则从所述待抓取数据对应的多个页面中提取对应的页面数据，并根据所述多个页面间的数据关系，将提取的页面数据生成对应的数组。

8.如权利要求7所述的网页数据解析装置，其特征在于，所述网页数据解析程序还可被所述处理器执行，以在所述根据所述多个页面间的数据关系，将提取的页面数据生成对应的数组，包括：

根据待抓取数据对应的网络页面HTML结构中的表标签，提取所述网络页面HTML结构中的页面数据，生成包含表的标题和所述标题对应的明细数据的二维数组。