[发明专利]网页数据捕获设备及其网页数据撷取方法

权利要求书

1.一种用于网页数据捕获设备的网页数据撷取方法，该网页数据捕获设备自一网页服务器接收多个网页数据，该网页数据撷取方法包含：

(a)令该网页数据捕获设备根据该等网页数据的多个统一资源寻址器URL的地址关联性，将该等网页数据分为至少一URL群组，其中，该至少一URL群组包含一第一URL群组，该第一URL群组包含至少部分该等网页数据；

(b)令该网页数据捕获设备自该第一URL群组的部分该等网页数据中，挑选一第一网页数据以及一第二网页数据；

(c)令该网页数据捕获设备解析该第一网页数据以及该第二网页数据得一网页节点数据集合，其中，该网页节点数据集合包含多个网页节点数据，各该网页节点数据报含相对应的一XML路径语言以及一文字内容；

(d)令该网页数据捕获设备根据该网页节点数据集合的该等网页节点数据的该等XML路径语言的路径关联性以及该等文字内容的文字关联性，将该网页节点数据集合的该等网页节点数据分为多个网页节点数据群组，其中，各该网页节点数据群组至少包含部分该等网页节点数据；

(e)令该网页数据捕获设备分别计算各该网页节点数据群组的部分该等网页节点数据的一文字内容总和；

(f)令该网页数据捕获设备根据该等文字内容总和，判断该等网页节点数据群组的至少一主要网页节点数据群组；

(g)令该网页数据捕获设备根据该至少一主要网页节点数据群组包含的部分该等网页节点数据的该等XML路径语言，决定一网页主要内容撷取信息。

2.如权利要求1所述的网页数据撷取方法，其特征在于，该第一URL群组中，部分该等网页数据的该等URL间的最小编辑距离皆小于一URL门槛值。

3.如权利要求1所述的网页数据撷取方法，其特征在于，步骤(b)更包含：

(b1)令该网页数据捕获设备自该第一URL群组的部分该等网页数据中，挑选数据量最高的该第一网页数据以及数据量第二高的该第二网页数据。

4.如权利要求1所述的网页数据撷取方法，其特征在于，步骤(c)后更包含：

(c1)令该网页数据捕获设备自该等文字内容中挑选至少一无效文字内容以及至少一重复节点数据，并将相对应于该至少一无效文字内容以及至少一重复节点数据的网页节点自该网页节点数据集合中删除。

5.如权利要求1所述的网页数据撷取方法，其特征在于，步骤(d)更包含：

(d1)令网页数据捕获设备根据该网页节点数据集合的该等网页节点数据的该等XML路径语言的路径关联性，将该网页节点数据集合的该等网页节点数据分为多个路径群组，其中，各该路径群组的部分该等网页节点数据的该等XML路径语言间的最小编辑距离皆小于一XML门槛值；

(d2)令该网页数据捕获设备针对各该路径群组，根据部分该等网页节点数据的该等文字内容的文字关联性，将各该路径群组分为该等网页节点数据群组；

其中，各该路径群组中，部分该等网页节点数据的各该文字内容具有一用语频率向量；

其中，各该路径群组中，各该网页节点数据群组的部分该等网页节点数据的该等文字内容的该等用语频率向量间的余弦值大于一文字内容门槛值。

6.如权利要求1所述的网页数据撷取方法，其特征在于，步骤(f)更包含：

(f1)令该网页数据捕获设备将该等文字内容总和排序成一文字内容总和序列；

(f2)令该网页数据捕获设备计算该文字内容总和序列中相邻文字内容总和的多个差值；

(f3)令该网页数据捕获设备挑选该等差值的一最大差值；

(f4)令该网页数据捕获设备根据该最大差值，将该文字内容总和序列分为一主要区域以及一次要区域；

(f5)令该网页数据捕获设备根据该主要区域，判断该等网页节点数据群组的该至少一主要网页节点数据群组。