[发明专利]一种基于MongoDB和Redis的网页数据采集处理方法及系统

摘要

本发明公开了一种基于MongoDB和Redis的网页数据采集处理方法及系统，该方法首先设定网页下载请求的格式；然后为下载请求分配全局唯一ID；依照配置中心预置的对应业务负载均衡策略，完成对请求的转发；采用MongoDB的副本集架构将请求按业务类型分库分表。将请求写入MongoDB数据库，并用id字段覆盖MongoDB默认的_id索引，对ts字段建立TTL索引，同时将id、biz、ts三个字段转json格式后，利用lpush操作压入Redis消息队列；最后各下载服务器一直保持监听Redis消息队列，轮询提取请求并下载解析网页，获取目标数据记录入库。本发明结合Redis内存消息队列和Mongodb副本集架构实施的分布式网页下载请求存储方案，构建成本低、简单实用。

主权项

1.一种基于MongoDB和Redis的网页数据采集处理方法，其特征在于，该方法包括以下步骤：(1)设定网页下载请求的格式：请求唯一标识符id、业务类型biz、时间戳ts、请求实体内容data、消息处理状态flag；(2)为下载请求分配全局唯一ID，对应下载请求的id字段；(3)基于分布式协同服务，在配置中心预置各业务的网页请求解析规则映射表、持久化节点列表、MongoDB数据库名、集合名、集合水平拆分数、Redis消息队列名；(4)依照配置中心预置的对应业务负载均衡策略，完成对请求的转发：首先根据下载请求的业务类型biz，从配置中心获取该biz预先定义的持久化节点列表、MongoDB数据库名、集合名、集合水平拆分数、Redis消息队列名，再结合对唯一标识符id求模取余策略，将请求持久化到MongoDB相应的数据库和集合，同时在Redis消息队列记录此条请求；(5)采用MongoDB的副本集架构将请求按业务类型分库分表；将请求写入MongoDB数据库，并用id字段覆盖MongoDB默认的_id索引，对ts字段建立TTL索引，同时将id、biz、ts三个字段转json格式后，利用lpush操作压入Redis消息队列；(6)各下载服务器一直保持监听Redis消息队列，轮询提取请求并下载解析网页，获取目标数据记录入库。