[发明专利]一种数据交换方法及系统

摘要

本发明提供了一种数据交换方法及系统。一种数据交换方法，包括：获取传统关系型数据库管理系统中并行任务节点的数量，获取大数据平台中的被交换数据和被交换数据的ID值；将被交换数据按被交换数据的ID值的固定顺序均分成第一特定数量的预合并区，第一特定数量为N与第一扩展值的乘积，第一扩展值为大于1的整数；依次将预合并区合并为N个合并区，使N个合并区内的前N‑1个合并区中的被交换数据量在第一区间内，分别将N个合并区分配给各并行任务节点执行数据交换。本发明实现了使分配给各并行任务节点的被交换数据更接近负载均衡，使合并过程耗时短，保证数据量较大时的交换过程在可以预计的合理时间范围内完成。

主权项

一种数据交换方法，其特征在于，包括：获取传统关系型数据库管理系统中并行任务节点的数量N，获取大数据平台中的被交换数据和所述被交换数据的ID值；将所述被交换数据按所述被交换数据的ID值的固定顺序均分成第一特定数量的预合并区，所述第一特定数量为N与第一扩展值的乘积，所述第一扩展值为大于1的整数；依次将所述预合并区合并为N个合并区，使所述N个合并区内的前N‑1个合并区中的被交换数据量在第一区间内，分别将所述N个合并区分配给各并行任务节点执行数据交换。