[发明专利]一种基于RabbitMQ和MongoDB的下载系统

摘要

本发明提供了一种基于RabbitMQ和MongoDB的下载系统，包括MongoDB、生产者模块、RabbitMQ、消费者模块，所述MongoDB被配置为存储任务和接收生产者模块返回的数据；所述生产者模块，用于与MongoDB交互，查询任务、将任务传输至RabbitMQ中；所述生产者模块用于接收RabbitMQ任务，并将任务的更新返回到MongoDB；所述RabbitMQ，被配置为传递所述生产者模块与消费者模块之间的任务数据；所述消费者模块，接收、执行由RabbitMQ传入的任务，并通过RabbitMQ将任务的更新反馈给生产者模块。本发明提供了一种以MongoDB为任务源，RabbitMQ作为消息队列的下载系统，利用MongoDB的面向文档的数据库和类JSON特性简化在执行任务过程中繁琐的序列化操作，减少了资源消耗、提高了系统的性能。

主权项

1.一种基于RabbitMQ和MongoDB的下载系统，其特征在于，包括MongoDB、生产者模块、RabbitMQ、消费者模块，/n所述生产者模块，被配置为查询MongoDB中存储的任务、和将任务传输至RabbitMQ中，以及接收经由RabbitMQ反馈的任务的更新并进一步将所述任务的更新返回到MongoDB；/n所述消费者模块，被配置为接收并执行由RabbitMQ传入的所述任务，并将任务的更新经由RabbitMQ反馈给生产者模块；/n其中，所述消费者模块包括任务调度单元、资源获取单元、后处理单元、云存储单元，/n所述任务调度单元用于实现资源获取单元和生产者模块的通讯，提供用于任务获取、结果提交、异常处理和数据同步的接口；/n所述资源获取单元用于接收和执行任务调度单元分配的任务，将任务中的目标数据下载到本地或交给后处理模块；/n所述后处理单元用于将所述资源获取单元传入的数据进行处理交给云存储单元处理；/n所述云存储单元将数据进行格式转化并上传至云端，同时将数据更新提交给任务调度单元。/n