[发明专利]一种针对图片格式的网络爬虫提取URL并索引及映射的框架

摘要

本发明公开一种针对图片格式的网络爬虫提取URL并索引及映射的框架，可在适当增加数据量的前提下，通过METAFILE的关键词对URL进行索引，并与相关直方图建立映射，利用关键词对图片格式文件进行检索，再对检索结果进行直方图的精准检索，构建网络图片格式文件的搜索引擎。

主权项

一种针对图片格式的网络爬虫提取URL并索引及映射的框架，其具体步骤如下：1)网络爬虫从遍历参数和起始URL开始；2)使用URL库中的第一个URL从网络上下载网页；3)将其传递给重复网页检查，重复核查的准确性取决于具体的遍历参数；4)如果网页没有被拒绝，则将它保存到网页库中；5)并传递给链接提取；6)链接提取从网页的METAFILE中提取链接，传递给URL检查；如果之前访问过，或不符合遍历参数表中列出的标准，则拒绝下载；7)同时提取直方图，传递给直方图库；8)将没有被拒绝的URL进行索引，递给URL库；并与相关直方图建立映射；9)URL库然后将一个未被访问的URL传递给网页提取。