[发明专利]数据传输方法、装置、计算机设备及存储介质

权利要求书

1.一种数据传输方法，其特征在于，包括：

建立消息队列；

响应于监测到有Map任务完成，将所述Map任务的输出数据加入到所述消息队列中；

根据所述输出数据在所述消息队列中的排序，将所述输出数据传输给相应的Reduce任务。

2.根据权利要求1所述的方法，其特征在于，所述建立消息队列，包括：

基于Reduce任务的个数，建立相应个数的分区；

在每个分区中建立一个消息队列，并建立所述消息队列与所述Reduce任务之间的一一对应关系。

3.根据权利要求2所述的方法，其特征在于，所述Map任务的输出数据中包括所述Map任务对应的字段和所述Map任务的执行结果；

所述将所述Map任务的输出数据加入到所述消息队列中，包括：

根据所述Map任务对应的所述字段，确定所述Map任务对应的目标消息队列，所述目标消息队列是指用于处理所述Map任务的Reduce任务所对应的消息队列；

将所述Map任务的输出数据加入到所述目标消息队列中。

4.根据权利要求3所述的方法，其特征在于，所述根据所述Map任务对应的所述字段，确定所述Map任务对应的目标消息队列，包括：

计算所述字段的哈希值与Reduce任务个数的商的余数；

基于所述余数与消息队列之间的对应关系，确定所述Map任务对应的目标消息队列。

5.根据权利要求1所述的方法，其特征在于，所述响应于监测到有Map任务完成，将所述Map任务的输出数据加入到所述消息队列中之前，所述方法还包括：

基于所有Map任务建立Map任务列表，所述Map任务列表中包括各Map任务的完成状态，以及未完成任务的数量。

6.根据权利要求5所述的方法，其特征在于，所述将所述Map任务的输出数据加入到所述消息队列中之后，所述方法还包括：

更新所述Map任务列表中未完成任务的数量。

7.根据权利要求6所述的方法，其特征在于，所述将所述输出数据传输给相应的Reduce任务之后，所述方法还包括：

响应于监测到所述Map任务列表中未完成的任务数量为0，关闭所有消息队列。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述将所述输出数据传输给相应的Reduce任务之前，所述方法还包括：

检测所述Reduce任务是否处于空闲状态或者已经结束运行；

所述将所述输出数据传输给相应的Reduce任务，包括：

若所述Reduce任务处于空闲状态或者已经结束运行，则将所述输出数据传输给相应的Reduce任务。

9.一种数据传输装置，其特征在于，包括：

第一建立模块，用于建立消息队列；

数据添加模块，用于在监测到有Map任务完成时，将所述Map任务的输出数据加入到所述消息队列中；

数据传输模块，用于根据所述输出数据在所述消息队列中的排序，将所述输出数据传输给相应的Reduce任务。

10.根据权利要求9所述的装置，其特征在于，所述第一建立模块，用于：

基于Reduce任务的个数，建立相应个数的分区；

在每个分区中建立一个消息队列，并建立所述消息队列与所述Reduce任务之间的一一对应关系。

11.根据权利要求10所述的装置，其特征在于，所述Map任务的输出数据中包括所述Map任务对应的字段和所述Map任务的执行结果；

所述数据添加模块，包括：

确定单元，用于根据所述Map任务对应的所述字段，确定所述Map任务对应的目标消息队列，所述目标消息队列是指用于处理所述Map任务的Reduce任务所对应的消息队列；

添加单元，用于将所述Map任务的输出数据加入到所述目标消息队列中。