[发明专利]一种基于MapReduce的超大文件批量上传方法

权利要求书

1.一种基于MapReduce的超大文件批量上传方法，其特征在于，该方法包括以下步骤：

步骤一、资源上传组件获取到待上传资源文件的信息后，向后端调用分布式资源系统上传任务批次号，获取接口；

步骤二、分布式资源系统根据待上传资源文件的信息得到任务批次号和切片数量，将任务批次号和切片数量保存并返回到资源上传组件；

步骤三、资源上传组件接收到任务批次号和切片数量，根据返回的切片数量,将待上传资源文件进行切片，并将切片好的资源片带上批次号通过网关请求分布式资源系统切片资源上传接口；网关对同一批次号的上传任务进行均匀策略的分发到分布式资源系统的切片Slave节点；

步骤四、分布式资源系统的切片Slave节点接收到上传的切片文件，首先对该批次号进行合法性校验，然后进行文件识别切片文件上传到对应批次号的临时存放目录，并实时上传结果返回到资源上传组件；

步骤五、资源上传组件通过监听分布式资源系统的返回结果判断该批次号文件是否全部上传完成，当全部成功时立即向分布式资源系统发送该批次号的资源合并请求；

步骤六、分布式资源系统Master节点接收到资源上传组件发送的该批次号的合并请求后，启动文件完整性检查，检查完成后立即执行资源合并操作；合并完成后立即销毁该批次号的临时存放目录，释放存储资源。

2.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤一中所述待上传资源文件的信息包括待上传资源文件的大小M和资源文件名N；

步骤二中所述分布式资源系统根据待上传资源文件的信息得到任务批次号和切片数量时，是对待上传资源文件的大小M和资源文件名N取hash值后再经过MD5加密生成任务批次号P，并计算出切片数量n。

3.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤二中所述将任务批次号和切片数量保存时，是保存至redis数据库。

4.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤三中所述资源上传组件将待上传资源文件进行切片时，通过spark-md5库将上传资源文件进行切片。

5.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤四中所述进行文件识别切片文件上传到对应批次号的临时存放目录时，是通过MD5进行的。

6.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤一至步骤六的过程中，当资源上传组件接收到分布式资源系统返回的分片上传错误返回后，立即启动配置次数C次的重新上传该切片资源的操作，在达到重试次数上限的情况下，该切片资源列表回到认为重试状态，待人工干预重新发起请求。

7.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤一至步骤六的过程中，当网络抖动短暂断连时，资源上传组件监听网络连接时间，网络恢复后立即启动配置次数C次的重新上传该切片资源的操作，在达到重试次数上限的情况下，该切片资源列表会回到认为重试状态，待人工干预重新发起请求。

8.按照权利要求1所述的基于MapReduce的超大文件批量上传方法，其特征在于：步骤一至步骤六的过程中，当人为误操作或者异常关机情况下，资源系统会记录最后上传信息，当重新上传后，资源上传组件重新切片并请求资源系统返回该资源上次上传信息，自动过滤掉已经上传切片资源，只上传未成功资源。