[发明专利]一种网络信息的自动提取方法及装置

权利要求书

1.一种网络信息的自动提取方法，其特征在于，包括：

从给定信息S相关的网页合集W中找到含有给定信息S的子集Ssub中元素的网页W’；

根据预定规则生成信息pattern集合P’，并将信息pattern集合P’与正则表达式集合P求合集获得集合P₁；

将集合P₁与给定信息相关的网页合集W中的所有的网页进行匹配，获得集合Ssub’，直到Ssub==Ssub′时抓取过程结束。

2.根据权利要求1所述的方法，其特征在于，所述根据预定规则生成信息pattern集合P’包括：

遍历给定信息S的子集Ssub，找到某一元素s，并找到在网页w中元素s的位置；

向前回溯，找到第一个网页标签，记为prefix；向后回溯，找到第一个网页标签，记为suffix；

把prefix和suffix中间的内容按照数字集合NumberSet、字母集合EnglishSet、特殊符号集合SpecialSet和汉字集合ChineseSet的描述规则生成元素s在网页w上的正则集合；

根据元素s在网页w上的正则集合生成Ssub在网页w上的正则表达集合，记录为P’=p1,p2…pn。

3.根据权利要求1所述的方法，其特征在于，该方法还包括验证正则表达式集合，所述验证正则表达式集合包括：

将每个网页W’与给定信息的子集Ssub相乘，得到正则表达式合集Tt=T1,T2…Tn；

遍历正则表达式合集Tt，得到一个正则表达式合集T₁，遍历正则表达式合集T₁，将任意的正则表达式p∈Tn与网页W’进行匹配，得到值的集合S；

如果S-Ssub≠Φ，舍弃改表达式；如果S-Ssub=Φ，则给定信息的子集Ssub中元素的个数Scount等于集合S中的元素个数；

遍历正则表达式合集Tt，对于任意的Tn∈Tt，如果Tn中正则表达式的个数大于1，则选取Tn中Scount最大的正则表达式，舍去其余的正则表达式；

遍历正则表达式合集Tt，对比其中任意两个Tn，如果正则表达式相同，则舍弃其中任意一个；

将剩余的正则表达式组成集合，记为P’=p1,p2…pn。

4.一种网络信息的自动提取装置，其特征在于，包括：

网页选取单元，用于从给定信息S相关的网页合集W中找到含有给定信息S的子集Ssub中元素的网页W’；

集合选取单元，用于根据预定规则生成信息pattern集合P’，并将信息pattern集合P’与正则表达式集合P求合集获得集合P₁；

内容抓取单元，用于将集合P₁与给定信息相关的网页合集W中的所有的网页进行匹配，获得集合Ssub’，直到Ssub==Ssub′时抓取过程结束。

5.根据权利要求4所述的装置，其特征在于，在集合选取单元中包括：

遍历子单元，用于遍历给定信息S的子集Ssub，找到某一元素s，并找到在网页w中元素s的位置；

回溯子单元，用于向前回溯，找到第一个网页标签，记为prefix；向后回溯，找到第一个网页标签，记为suffix；

正则集合表述子单元，用于把prefix和suffix中间的内容按照数字集合NumberSet、字母集合EnglishSet、特殊符号集合SpecialSet和汉字集合ChineseSet的描述规则生成元素s在网页w上的正则集合；

正则集合生成子单元，用于根据元素s在网页w上的正则集合生成Ssub在网页w上的正则表达集合，记录为P’=p1,p2…pn。

6.根据权利要求4所述的装置，其特征在于，该装置还包括验证单元，所述验证单元包括：

取乘子单元，用于将每个网页W’与给定信息的子集Ssub相乘，得到正则表达式合集Tt=T1,T2…Tn；

匹配子单元，用于遍历正则表达式合集Tt，得到一个正则表达式合集T₁，遍历正则表达式合集T₁，将任意的正则表达式p∈Tn与网页W’进行匹配，得到值的集合S；

元素个数确定子单元，用于如果S-Ssub≠Φ，舍弃改表达式；如果S-Ssub=Φ，则给定信息的子集Ssub中元素的个数Scount等于集合S中的元素个数；

第一筛选子单元，用于遍历正则表达式合集Tt，对于任意的Tn∈Tt，如果Tn中正则表达式的个数大于1，则选取Tn中Scount最大的正则表达式，舍去其余的正则表达式；

第二筛选子单元，用于遍历正则表达式合集Tt，对比其中任意两个Tn，如果正则表达式相同，则舍弃其中任意一个；

正则集合确定子单元，用于将剩余的正则表达式组成集合，记为P’=p1,p2…pn。