[发明专利]一种基于数据分布模型的分布式排序系统

说明书

本发明公开了一种基于数据分布模型的分布式排序系统。如附图所示，它包含中央控制单元(master)、模型单元(model)和计算单元集群(slaves)三个部分。首先由中央控制单元接收待排序元素集，并调用模型单元；然后将元素集进行分割并分配给计算集群中的各个计算单元，计算单元完成元素的预测和放置后将所有数据返回给中央控制单元；接着，中央控制单元根据计算单元的返回数据合并，生成最终有序序列；最后，中央控制单元将有序序列返回给用户。本发明的核心思想是，根据基础数据分布模型将元素直接放置到数组中并组成分布式排序系统，相比于根据传统排序算法部署的分布式排序系统，运行时间更短。

技术领域

本发明涉及排序算法/系统，具体涉及一种基于数据分布模型的排序系统。

背景技术

排序算法作为经典算法在各类软件开发中都有非常高的使用频率，甚至是在今年来较为火热的聚类分析、机器学习、推荐算法等人工智能领域的基础算法之一。从排序问题提出至今，研究人员和工程人员对排序算法进行了全方位的改进，但是其理论时间复杂度一直停滞在O(NlogN)。随着大数据和机器学习的兴起，计算机需要处理的数据量也越来越大，已有的排序算法难以适应。目前来说对排序算法的优化仅停留在实际运行时间的减少，并没有对理论时间和最坏时间进行进一步优化。目前来说，快速排序和归并排序作为应用较为广泛的排序算法之一，在众多学者和工程师的研究和优化后可以使得大部分的排序过程的时间消耗略微低于理论时间复杂度O(NlogN)，效果并不是很理想，没有达到质的改变。

分布模型是由分布函数来表示的一种模型，分布函数既可以是基本函数也可以是不能用解析式表达的抽象函数。因此可以通过数学函数、机器学习模型等多种方式来对待排元素的数据分布模型进行描述。

发明内容

本发明所解决的技术问题是，提供一种新的分布式排序系统，将待排元素集分割成若干子集，利用数据分布模型对各个子集中的元素在整个有序数组中的位置进行预测，然后根据元素预测位置将元素放入有序数组从而完成排序操作。这种方法极大的提高了运行的时间效率，且稳定性很强。

本发明的技术方案为：

步骤1)：由模型单元为中央处理单元提供数据的分布模型。模型单元既可以是单个计算机也可以是某个高性能集群。模型的提供方式既可以是直接的数学函数，也可以是用机器学习模型来表示的模型。

步骤2)：中央处理单元将待排元素集划分成若干子集，通过一定的调度策略将步骤1)中的模型和子集分批发送给各个计算单元。这个子集的划分是根据待排元素集中的最大值(max)、最小值(min)和元素规模来设定，假定整个待排元素集将被划分为L个子集，那么元素x对应的子集编号为：

步骤3)：各个计算单元通过数据分布模型来对待排元素子集进行处理，主要包括以下步骤：

步骤3.1)：各个计算单元使用数据分布模型来预测待排元素集中每一个元素在有序数组中的位置。将待排元素集依次输入数据分布模型，模型的输出乘以待排元素集规模就是该元素的预测位置。

步骤3.2)：根据获得的预测位置，将各个元素放置在有序数组中。最终的有序数组就是待排元素的排序结果。

进一步的，在步骤3.2)中，由于可能会有多个元素的值相同从而导致它们有相同的预测位置。这会使得在将元素放置到有序数组的过程中可能会发生冲突。我们提供了一种存储结构来解决冲突的问题。首先，针对每个元素构建一个索引，用来指向与该元素有相同预测位置的前一个元素。然后，针对每一个可能的预测位置构建一个索引，用来指向该预测位置对应的最后一个元素。

步骤4)：中央处理单元在步骤2)的集合划分时已获得各个集合的元素个数。中央处理单元在获取到计算单元返回的每一组结果时都将完成一个合并操作，包含以下步骤：