[发明专利]基于动态学习框架的全自动网页结构化数据抽取方法

摘要

本发明涉及一种基于动态学习框架的全自动网页结构化数据抽取方法，包括：（A）可信属性集学习过程和（B）属性单元的发现和抽取过程。所述（A）可信属性集学习过程包括：①提取潜在属性单元；②获得候选属性集合；③产生可信属性集合。所述（B）属性单元的发现和抽取过程包括：④获取属性单元发现域；⑤获取网页结构化数据。本发明提出的方法与已有方法相比较，具有以下优点：①无需人工干预，可以大规模地用于现实网络中各种类别的网页属性信息的抽取。②能够适应多种不同的垂直域。③基于动态学习的框架，能够适应目标网页的变化，具有较高的灵活性。④抽取出的信息还可以为其它方面的研究提供数据，如知识库建立、本体研究、趋势预测等。

主权项

1.一种基于动态学习框架的全自动网页结构化数据抽取方法，其特征在于：包括：（A）可信属性集学习过程和（B）属性单元的发现和抽取过程；所述（A）可信属性集学习过程包括步骤一至步骤三，具体为：步骤一、提取潜在属性单元；网页中包含的结构化数据用于描述当前网页所呈现事物的属性和属性值，将一个属性及其对应的属性值称为一个属性单元；提取潜在属性单元的具体过程为：第1.1步：解析待处理的HTML网页，生成DOM树；第1.2步：构造DOM树结构模型，其类型有三种：第①种：一个节点的子节点数大于或等于2，并且该节点有且仅有2个子节点包含文本节点；该模型用来找出DOM树中对应于一个属性单元的节点，并且该属性单元中只有一个属性和属性值；第②种：一个节点中包含2个或2个以上子节点，但有且仅有2个子节点包含文本节点；2个包含文本节点的子节点中，有且仅有1个子节点只包含一个文本节点，而另一个子节点是包含2个或2个以上文本节点；该模型用来找出DOM树中对应于一个属性单元的节点，并且该属性单元中包含2个或2个以上属性值；第③种：一个节点包含2个或2个以上子节点，但有且仅有偶数个子节点中包含且仅包含一个文本节点，且该偶数个子节点连续排列；此外，该偶数个子节点中，按照其前后顺序将每两个子节点分为一组，每组子节点对应于一个属性单元，每组中的第一个子节点对应属性，第二个子节点对应属性值；因此，该模型用来找出DOM树中对应于1个或1个以上属性单元的节点，并且每个属性单元中只可以包含一个属性值；第1.3步：根据第1.2步构造的3种DOM树结构模型，从第1.1步得到的DOM树中抽取出符合3种DOM树结构模型之一的节点；第1.4步：根据第1.3步得到的节点的DOM树结构模型类型，找出该节点对应的属性单元，放入到潜在属性单元集合中；经过上述步骤的操作，即可得到潜在属性单元集合，潜在属性单元集合的元素为潜在属性单元；步骤二、获得候选属性集合；从步骤一得到的潜在属性单元集合中，挑选出候选属性，并将其加入候选属性集合；候选属性是指出现频率大于某一阈值的潜在属性；所述某一潜在属性的出现频率可通过公式（1）计算得到；P(c)=N(c)|Sc|---(1)]]>其中，P(c)表示某一潜在属性c的出现频率；S_c表示提取出该潜在属性的待处理HTML网页所在的网站；N(c)表示某一潜在属性c在网站S_c中出现的次数；某一潜在属性c在一个网页中出现一次以上，都只记为出现一次；|S_c|表示网站S_c中当前已处理的网页个数；步骤三、产生可信属性集合；在步骤二的基础上，产生可信属性集合；具体为：第3.1步：使用公式（2）依次计算步骤二得到的候选属性集合中候选属性的属性熵；entropy(a)=-Σi=1|S|DisPi(a)logDisPi(a)---(2)]]>其中，entropy(a)表示某一候选属性a的属性熵；|S|表示已处理网站的个数；DisP_i(a)表示候选属性a在|S|个网站中的某一网站中出现的次数N_i(a)与候选属性a在所有|S|个网站里出现次数的比，如公式（3）所示；DisPi(a)=Ni(a)Σj=1|S|Nj(a)---(3)]]>第3.2步：使用公式（4）依次计算步骤二得到的候选属性集合中候选属性的可信度；credibility(a)=(1+entropy(a))Σi=1|S|Pi(a)---(4)]]>其中，credibility(a)为某一候选属性a的可信度；P_i(a)表示某一候选属性a的出现频率，可通过公式（5）计算得到；Pi(a)=Ni(a)|Si|---(5)]]>其中，S_i表示第i个网站；N_i(a)表示某一候选属性a在网站S_i中出现的次数；|S_i|表示网站S_i中当前已处理的网页个数；第3.3步：人为设定一个阈值x表示，x的值小于候选属性集合中元素的个数；第3.4步：对候选属性集合中的元素按照其候选属性可信度从大到小重新排序，然后挑选出前x个候选属性，并计算该x个候选属性的可信度平均值θ_v；第3.5步：遍历整个候选属性集中的候选属性，如果候选属性的可信度大于θ_v，则将该候选属性加入可信属性集合中；经过上述步骤的操作，即可得到可信属性集合；所述（B）属性单元的发现和抽取过程包括步骤四至步骤五，具体为：步骤四、获取属性单元发现域；针对可信属性集学习过程中处理的所有网页依次进行以下处理：根据可信属性集学习过程得到的可信属性集合中的可信属性在该网页对应DOM树上的位置，找出它们对应的公共祖先节点，然后将该公共祖先节点的子树下的叶子节点确定为一个属性单元发现域；步骤五、获取网页结构化数据；其具体过程为包括第5.1步至第5.2步：第5.1步：利用属性抽取算法对步骤四得到的属性单元发现域中的每一个节点进行处理，抽取出属性单元；具体为：第①步：根据公式（6）计算属性单元发现域中的每一个节点的熵；Entropy(n)=-Σi=1|S|DISPi(n)logDISPi(n)---(6)]]>其中，Entropy(n)表示属性单元发现域中的某一个节点n的熵；|S|表示已处理网站的个数；DISP_i(n)表示节点n的内容在S个网站中的某一网站中出现的次数N′_i(n)与节点n的内容在所有S个网站里出现次数的比，如公式（7）所示；DISPi(n)=Ni′(n)Σj=1|S|Nj′(n)---(7)]]>第②步：根据公式（8）计算属性单元发现域中的每一个节点的可信度；Credibility(n)=Entropy(n)+Σi=1|S|Pi′(n)---(8)]]>其中，Credibility(n)为属性单元发现域中的某一个节点n的可信度；P′_i(n)表示某一个节点n的内容的出现频率，可通过公式（9）计算得到；Pi′(n)=Ni′(n)|Si|---(9)]]>其中，S_i表示第i个网站；N_i′(n)表示某一个节点n的内容在网站S_i中出现的次数；|S_i|表示网站S_i中当前已处理的网页个数；第③步：人为给定一个阈值θ，θ∈[0.7×θ_v,1.3×θ_v ]）；第④步：对步骤四得到的属性单元发现域，按照先序遍历顺序对所有节点重新排序，并对重新排序后的节点依次进行第⑤步至第⑦步的处理；第⑤步：如果该节点n⁰的可信度比该节点的下一节点n′的可信度高并且该节点的可信度也高于阈值θ，则将该节点的内容确定为一个属性单元的属性，用符号A表示，将该节点的下一节点的内容确定为该属性单元的第一个属性值；第⑥步：人为给定一个阈值δ，δ∈[0.001,0.01]；第⑦步：确定节点n′的下一节点n″是否为属性A的属性值；具体方法为：计算步骤一中所述潜在属性单元集合中属性A的所有属性值的个数K，计算步骤一中所述潜在属性单元集合中属性A的属性值为节点n″的内容的个数与K的比值R，如果R>δ，则将节点n″的内容作为属性A的下一个属性值，令n′指代节点n″，然后重复第⑦步；否则，令n⁰指代节点n″，然后重复第⑤步；第5.2步：将第5.1步抽取出的所有属性单元作为该网页的结构化数据。