[发明专利]一种网页页面最大块提取的方法

说明书

技术领域

本发明属于网页设计领域，尤其涉及一种网页页面最大块提取的方法。

背景技术

目前，页面提取采用的主要方法是针对不同网站进行定制化规则进行正文的提取。首先分析需要爬取正文页面，根据页面结构写本页面的提取规则。规则用xpath或者正则书写，然后根据书写的页面提取规则进行特定的页面内容抽取，获取内容后保存本地。完成一次网页内容的抽取。这样做维护成本过大，针对网站爬取内容，每个网站都有一套规则。而且一旦网页格式发生变化，原先针对此网站就作废了，给页面内容抽取带来困难。

综上所述：现有技术中存在的问题：目前技术对特定网页采取特定的规则进行抽取内容，在面对大量网页内容抽取的时候会涉及到大量的抽取规则的编写、优化、维护；这样会投入大量的人力资源，而且网页格式一旦发生变化以前的抽取规则就会失效；为了避免由于页面变化导致的网页内容抽取程序失效，减少开发成本和维护成本，提高网页内容抽取方法的智能化程度和自适应能力，提出了本发明。

发明内容

针对现有技术存在的问题，本发明提供了一种网页页面最大块提取的方法。

本发明是这样实现的，一种网页页面最大块提取的方法，具体包括：

获取网页html码，然后对内容进行编码、去除脚本、去除特殊字符的预处理；获取到html源码以后要根据网站编码进行内容编码，若网站没有meta标签的内容编码，则默认用utf8对内容进行编码；编码完成后要用正则’<script[^>]*？>.*？</script>’去除<script></script>包含的脚本和特殊的注释文本<！--...-->，对于转义的特殊字符&nbsp；&lt；&gt；&amp；&quot；&apos等转义成相应的空格、<、>、&、”、’等；

去除格式标签获取整个页面的文本；对文本用正则”<[^>]*>”进行去除标签，去除html中所有的标签；粗略的文本分布使处理的标签脚本变成空白行；

计算行块字符数的分布函数；

根据分布函数变化找到骤升和骤降的点，得到有价值的正文；

处理正文，根据得到的行号，按照行号把每行表示的内容拼接起来形成需要的主体内容，这样得到的主体内容中还会有空行；然后用正则‘^/n’替换成空，来去除空行；最后得到文章主体。

进一步，所述计算行块字符数的分布函数包括：对粗略的文本建立基于行号的文本长度分布函数；函数在坐标轴上表示为，x轴表示文本行号：LN；y轴表示该行号的文本长度：LL；

然后以跳跃度为3把行文本长度合并到最长的上面行作为一个block块，存在LN/3个block,使文本长度集中及使骤升骤降点区分。

进一步，所述根据分布函数变化找到骤升和骤降的点，得到有价值的正文的方法包括：

设拟合曲线为：y＝a₀+a₁x+...+a_kx^k，各个点到此曲线距离，即偏差平方和为：

为了求符合实际的所有a值，对上面公式的ai进行求导，得如下结果：

简化后结果为：

然后把等式转换成矩阵得：

其中，X*A＝Y,那么A＝(X*X)-1*X*Y，于是得到关于A的系数矩阵，然后就得到拟合曲线参数；求出拟合曲线；拟合曲线求出后对该曲线求导得到其梯度变化函数：

y′＝a₁+a₂x+...+a_kx^k-1；

将页面所有行数带入得到一组该曲线在每个点的梯度然后计算每个相邻梯度差，并且取绝对值，找到差值最大的行号；

最大的行号为文本骤升骤降的点，得到页面主体，最后提取文本。

本发明的另一目的在于提供一种网页页面最大块提取系统。

本发明利用网页中页面展示的有效信息大部分集中在连续块中的特性。利用最大块方法可以快速高效地确定页面主体内容位置，并进行提取。现有基于规则的网页主体内容提取方法工作量大。如果针对一个网站需要几条规则，那么面对成千上万的网站这个工作量很大。而且要维护那么多的规则也要投入大量的成本。