[发明专利]网页数据捕获设备及其网页数据撷取方法

说明书

一种网页数据捕获设备及其网页数据撷取方法。网页数据捕获设备执行：根据网页数据的URL的地址关联性，将网页数据分为URL群组；自URL群组的网页数据中挑选第一网页数据以及第二网页数据；解析第一网页数据以及第二网页数据得网页节点数据集合；根据网页节点数据集合的网页节点数据的XML路径语言的路径关联性以及文字内容的文字关联性，将网页节点数据集合的网页节点数据分为多个网页节点数据群组；分别计算各网页节点数据群组的一文字内容总和；根据文字内容总和，判断网页节点数据群组的主要网页节点数据群组；根据主要网页节点数据群组包含的网页节点数据的XML路径语言决定网页主要内容撷取信息。

技术领域

本发明系关于一种网页数据捕获设备及其网页数据撷取方法；更具体而言，本发明系关于一种自动化的网页数据捕获设备及其网页数据撷取方法。

背景技术

随着因特网应用发展，各式各样的信息皆可从不同的网页获取，因此，当有特定数据分析需求时，便可针对相关网站的网页，撷取其主要内容后分析处理。

而习知的网页主要内容撷取方式中，多采人工抓取分析进行，然而，以人工的方式针对不同网站的不同网页进行主要内容判断，其效率相当不理想。据此，为提升网页主要内容撷取效率，便有以客工艺式为主，针对网页的各种样板(templates)及其排版(layout)作为训练数据(training data)，进行网页分析及主要内容撷取的技术。

惟此种客工艺式的方式，仅能针对特定网页的样板及排版进行处理，因此，当网页改版或其语法结构稍微调整，若不针对客工艺式进行相应的调整，将会导致分析及撷取的结果发生明显错误。

更者，因网页格式排版日趋复杂，因此网页信息量亦大幅大幅增加，单一网页的网页节点(webpage node)可能高达近千个，据此，当网页的结构或型态发生更动时，客工艺式调整的复杂程度将更显困难，甚至可能需要重新撰写客工艺式，如此，同样导致网页主要内容判断的效率不佳。

因此，如何改进习知网页主要内容撷取效率不佳的缺点，乃业界须共同努力的目标。

发明内容

本发明的主要目的系提供一种用于网页数据捕获设备的网页数据撷取方法。网页数据捕获设备自网页服务器接收多个网页数据。网页数据撷取方法包含：(a)令网页数据捕获设备根据多个网页数据的多个统一资源寻址器(uniform resource locator,URL)的地址关联性，将多个网页数据分为至少一URL群组。其中，至少一URL群组包含第一URL群组，第一URL群组包含至少部分多个网页数据；(b)令网页数据捕获设备自第一URL群组的部分多个网页数据中，挑选第一网页数据以及第二网页数据；(c)令网页数据捕获设备解析第一网页数据以及第二网页数据得网页节点数据集合。其中，网页节点数据集合包含多个网页节点数据，各网页节点数据报含相对应的XML路径语言(XML Path Language)以及文字内容。

前述网页数据撷取方法进一步包含：(d)令网页数据捕获设备根据网页节点数据集合的多个网页节点数据的多个XML路径语言的路径关联性以及多个文字内容的文字关联性，将网页节点数据集合的多个网页节点数据分为多个网页节点数据群组。其中，各网页节点数据群组至少包含部分多个网页节点数据；(e)令网页数据捕获设备分别计算各网页节点数据群组的部分多个网页节点数据的文字内容总和；(f)令网页数据捕获设备根据多个文字内容总和，判断多个网页节点数据群组的至少一主要网页节点数据群组；(g)令网页数据捕获设备根据至少一主要网页节点数据群组包含的部分多个网页节点数据的多个XML路径语言，决定网页主要内容撷取信息。