[发明专利]一种网页内容自动采集方法

权利要求书

1.一种网页内容自动采集方法，其特征在于，具体步骤包括：

步骤一、根据需要进行内容采集的网页URL查找与该网页所在网站相匹配的采集器集合；

步骤二、当存在相匹配的采集器时，执行采集器，获取网页内容；当不存在相匹配的采集器时，查找未匹配采集器集合，从未匹配采集器集合中选择采集器并执行采集器，获取网页内容；

采集器的识别流程包括：

步骤1、访问目标网页页面，并获取页面字节流；

步骤2、将字节流解析成dom对象，将dom中所有Element对应html标签，记录html标签的所有属性和值；

步骤3、通过dom对象中的title节点，确认标题范围，其中，所述title节点的Xpath为：//HTML/HEAD/TITLE；

再通过查找h节点，比对title节点，确认网页的标题xpath，其中，所述h节点的Xpath为：//BODY//*[name()='H*']；

当title节点的值包含h节点的值时，h节点即为网页的标题节点，h节点的xpath即为网页标题的xpath；

步骤 4、以h节点为起点，查找发表时间节点；

步骤 5、以h节点为起点，扫描h节点的祖父节点对应的所有子节点，查找文本值长度最长的节点，将其确定为网页正文节点；

步骤 6、确认作者节点，用“作者节点特征匹配”方式以h节点为起点，扫描h节点的父节点的所有子节点，匹配子节点的文本值是否符合作者节点特征，若符合，则确认该子节点为作者节点；

当使用“作者节点特征匹配”方式没有成功确认作者节点时，则使用“位置猜测”方式确认作者节点：

以发表节点为起点，分析发表节点在其兄弟节点中的位置，来确定作者节点：

a、若发表节点的兄弟节点有多个，且发表节点在所述多个节点中排名在一半之前，则确定发表节点的下一个兄弟节点就是作者节点；

b、若发表节点的兄弟节点有多个，且发表节点在所述多个节点中排名在一半之后，则确定发表节点的前一个兄弟节点就是作者节点；

步骤 7、根据网页的标题、发表时间节点、正文节点和作者节点，识别出网页内容相匹配的采集器；

步骤三、采集成功后，输出网页内容的采集结果；当采集不成功时，返回步骤二，重新选择采集器。

2.如权利要求1所述的一种网页内容自动采集方法，其特征在于，所述步骤4中发表时间节点的确认具体方法为：

从h节点的所有子节点中查找时间节点，若查找到，则完成发表时间节点的确认；

否则，继续从h节点的所有兄弟节点及其所有子节点中查找时间节点，若查找到，则完成发表时间节点的确认。

3.如权利要求1所述的一种网页内容自动采集方法，其特征在于，所述步骤4中发表时间节点的确认算法具体为：

通过常用时间格式正则表达式来匹配节点的值，若能够匹配命中，则该节点即确认为发表时间节点。

4.如权利要求1所述的一种网页内容自动采集方法，其特征在于，所述步骤5确定网页正文节点的过程中，还包括对所有节点按照噪音节点标准进行去噪处理，将不合理的节点排除，所述噪音节点标准具体为：

（1）凡节点的值中含有javaScript特征的节点；

（2）凡节点的值中含有的标点符号数量小于设定阈值的节点。

5.如权利要求1所述的一种网页内容自动采集方法，其特征在于，所述步骤6中作者节点的判断方法包括：

1）节点的值中含有设定的特征字符串，包括“作者：”、“来源：”或者“责任编辑:”；

2）节点的值长度小于阈值。