[发明专利]RSS信息分页抓取系统及方法

说明书

技术领域

本发明涉及互联网技术领域，特别涉及一种RSS信息分页抓取系统及方法。

背景技术

RSS（简易信息聚合，也叫聚合内容）是一种描述以及同步网站内容的格式。RSS可以是以下三个解释的其中一个：Really Simple Syndication；RDF(Resource Description Framework)Site Summary；Rich Site Summary，其实这三个解释都是指同一种Syndication的技术。RSS目前广泛用于网上新闻频道，博客和wiki，主要的版本有0.91,1.0,2.0。使用RSS订阅能更快地获取信息，网站提供RSS输出，有利于让用户获取网站内容的最新更新。网络用户可以在客户端借助于支持RSS的聚合工具软件，在不打开网站内容页面的情况下阅读支持RSS输出的网站内容。

其中，RSS订阅是站点用来和其他站点之间共享内容的一种简易方式，面对扑面而来的新闻，不用再花费大量的时间冲浪和从新闻网站下载，只需要通过RSS阅读器就可以阅读大量的信息。目前RSS订阅主要分两种：第一种是用户通过RSS阅读器从RSS源站摘取信息，这种方式需要用户主动添加RSS源，信息来源单一，而且RSS的内容完全由其源站决定，很多RSS源只推送信息摘要，如果要看详细信息必须去原始网页查看；第二种是用户从一些第三方站点订阅，第三方订阅站点事先从一些质量较高的RSS源抽取信息，并进行一定的处理，返回给用户的是已经聚合好的信息。

第二种订阅方式显然更能满足用户的阅读需求，但是其同样存在问题：当第三方订阅站点从RSS源抽取信息时，假设被抽取的信息是一篇文章的摘要，会从原文链接中抽取全文，但是如果原文的内容是分页的，则只能抽取第一页。

发明内容

本发明要解决的技术问题是：如何提供一种RSS信息分页抓取系统及方法，以保证从RSS源抽取信息时能够识别分页并抽取全文。

为解决上述技术问题，本发明提供一种RSS信息分页抓取系统，其包括：

列表建立单元，适于收集具有分页的RSS频道，建立分页频道列表；

列表分析单元，适于分析所述分页频道列表，得到对应每个RSS频道的分页标签；

代码获取单元，适于当从RSS源抓取信息时，如果作为当前信息来源的目标RSS频道属于所述分页频道列表，则获取所述当前信息对应的页面代码；

标签查找单元，适于在所述页面代码中查找所述目标RSS频道对应的分页标签；

分页组合单元，适于根据查找到的分页标签获得各分页对应的页面，组合各分页对应的页面，得到完整的RSS信息。

其中，所述列表分析单元进一步包括：

网页提取模块，适于依次取出所述分页频道列表中的每个RSS频道，找到所述RSS频道中具有分页的网页；

标签对应模块，适于分析所述具有分页的网页的页面代码，找到其中的分页标签作为相应RSS频道所对应的分页标签。

其中，所述代码获取单元进一步包括：

信息抓取模块，适于从RSS源抓取信息；

判断模块，适于判断作为当前信息来源的目标RSS频道是否属于所述分页频道列表；

代码获取模块，适于当作为当前信息来源的目标RSS频道属于所述分页频道列表时，获取所述当前信息对应的页面代码。

其中，所述分页组合单元进一步包括：

URL获取模块，适于根据查找到的分页标签得到各分页的URL；

正文获取模块，适于根据各分页的URL获得各分页的页面代码，从所述页面代码中抽取各分页的正文；

分页组合模块，适于组合各分页的正文，得到完整的RSS信息。

其中，所述系统还包括：

推送单元，适于将所述完整的RSS信息推送给用户。

本发明还提供一种RSS信息分页抓取方法，其包括步骤：

收集具有分页的RSS频道，建立分页频道列表；

分析所述分页频道列表，得到对应每个RSS频道的分页标签；

当从RSS源抓取信息时，如果作为当前信息来源的目标RSS频道属于所述分页频道列表，则获取所述当前信息对应的页面代码；

在所述页面代码中查找所述目标RSS频道对应的分页标签；

根据查找到的分页标签获得各分页对应的页面，组合各分页对应的页面，得到完整的RSS信息。

其中，所述分析所述分页频道列表，得到对应每个RSS频道的分页标签具体包括：