[发明专利]一种基于对象存储的爬虫网络路径追踪方法

说明书

本发明公开了一种基于对象存储的爬虫网络路径追踪方法，方法中提出建立一对象存储系统和一日志记录器，日志记录器生成结果路径日志，所述结果路径日志中记录了爬取结果的来源URL到对象存储系统上爬虫结果文件的索引；在外部系统需要调取数据库中的数据时，通过索引直接得到对象存储系统上爬虫结果文件。本发明通过引入对象存储系统，可提高文件读写速度，通过建立结果路径日志，在外部系统调取数据时可在该日志中进行检索，而无需去数据库中检索，因此避免了可能产生的读写冲突。

技术领域

本发明属于软件工程中路径追踪研究领域，特别涉及一种基于对象存储的爬虫网络路径追踪方法。

背景技术

网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，在目前的路径追踪中，大多是以爬虫任务为基本单位来进行爬虫网络路径追踪，如开源爬虫框架pyspider，默认操作是将结果存储到数据库中。外部系统若需要调取数据库中的数据，并没有一套很方便的检索方法，只能对数据库进行表扫描，并且需要修改数据库中的结果数据的状态，以便下次处理时排除这些已处理的结果。这就导致该数据库中的数据需要两个系统一起维护，引起了很大的不确定性，甚至产生读写冲突。

现有技术中还提到另外一种方法，即爬虫系统将结果直接存储到文件系统中，在需要调取相关数据时由下游系统去遍历文件系统的文件夹。这种办法由于需要频繁读写磁盘会导致磁盘IO负载严重，除此之外，该方法仍然存在由两个系统共同维护同一份数据的问题，不能从根本避免产生读写冲突。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于对象存储的爬虫网络路径追踪方法，该方法具有IO效率高，检索效率高且准确，并且降低系统间耦合的优点。

本发明的目的通过以下的技术方案实现：一种基于对象存储的爬虫网络路径追踪方法，建立一对象存储系统和一日志记录器，日志记录器生成结果路径日志，所述结果路径日志中记录了爬取结果的来源URL到对象存储系统上爬虫结果文件的索引；在外部系统需要调取数据库中的数据时，通过索引直接得到对象存储系统上爬虫结果文件。本发明通过引入对象存储系统，可提高文件读写速度，通过建立结果路径日志，在外部系统调取数据时可在该日志中进行检索，而无需去数据库中检索，因此避免了可能产生的读写冲突。

具体的，该方法包括以下步骤：

(1)部署对象存储系统以及日志处理器，假设一个爬虫S的爬取结果文件为R；

(2)载入阶段：日志处理器为该爬取结果文件R生成路径P，将爬取结果文件R上传到对象存储系统中上述路径位置；

日志处理器生成一条包含爬取结果的来源URL、路径P的聚合路径记录，将该记录添加到每个爬虫各自对应的结果路径日志的末尾；

(3)调取阶段：外部系统遍历日志文件或根据来源URL检索结果路径日志，检索到相应文件时，标记当前文件在结果路径日志的行数，然后通过该记录中的路径P下载该爬取结果文件到本地；如需继续检索则从上面标记的行数开始继续检索后面的记录。通过上述步骤，外部系统不需要对任何结果文件记录进行修改，只需要记录读到日志文件第几行就可以将结果处理操作持久化，立刻获得待处理结果在对象存储系统中的文件路径，从而得到该爬虫结果。

优选的，所述步骤(2)中，日志处理器根据该爬虫编号S以及爬取结果文件R的内容生成唯一哈希路径P。从而可以保证每个爬取结果文件跟其路径能够一一对应。

具体的，所述结果路径日志的结构包括三列，第一列数据为日志时间，即结果文件写入文件系统的时间，第二列数据是爬取结果的来源URL，第三列数据是路径P。

优选的，所述对象存储系统是一个基于HBASE分布式文件系统的文件存储系统。从而在降低成本的同时，可提高存储和下载的速度，可以支持PT级别数量文件的存储。