[发明专利]一种基于数据分布模型的分布式排序系统在审
申请号: | 201910037666.7 | 申请日: | 2019-01-16 |
公开(公告)号: | CN109885732A | 公开(公告)日: | 2019-06-14 |
发明(设计)人: | 毛雷;施荣华;赵颖 | 申请(专利权)人: | 中南大学 |
主分类号: | G06F16/901 | 分类号: | G06F16/901 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 410083 湖南*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 中央控制单元 计算单元 排序系统 模型单元 数据分布 返回数据 分布模型 核心思想 基础数据 计算集群 排序算法 排序元素 数据返回 直接放置 集群 数组 调用 合并 返回 分割 分配 预测 部署 | ||
1.一种基于数据分布模型的分布式排序系统,包含中央控制单元(master)、模型单元(model)和计算集群(slaves),其特征在于,包括以下步骤:
步骤1):中央控制单元获取到待排元素集后调度模型单元获取待排元素集对应的元素分布模型;
步骤2):中央控制单元将待排元素集进行分割成若干子集,所有子集互不重叠且包含原待排元素集中所有元素;
步骤3):中央控制单元通过一定调度将步骤1)中的模型和步骤2)中的集合传送给计算单元集群;
步骤4):计算单元集群中的计算单元根据接收到的模型完成接收到的集合中所有元素的位置预测、放置,并处理在本计算单元内发生的冲突,最后将结果返回中央控制单元;
步骤5):中央控制单元接收所有计算单元的返回结果,同时进行数据合并,最终整理出有序序列。
2.根据权利要求1所述的方法,其特征在于,在步骤4)中,每个计算单元需要通过数据分布模型来对子集进行初步处理,包括以下步骤:
步骤2.1):使用数据分布模型来预测待排元素子集中每一个元素在整个有序数组中的位置;
步骤2.2):根据步骤2.1)中获得的预测位置,将各个元素放置在有序数组中,并使用冲突处理结构来解决放置冲突。
3.根据权利要2所述的一种用于解决放置冲突的结构,其特征在于,在步骤4)中,构建了两个数组实现的索引结构,分别用于待排元素和待放位置,用于解决由于多个元素拥有相同预测位置而导致的冲突;在步骤2.2)中,针对任一元素c来说,它的预测位置是p,对索引结构的维护包括以下两个步骤:
步骤3.1):将元素c的索引指向预测位置也是p的前一个元素,也就是位置p的索引指向的元素;
步骤3.2):将位置p的索引指向元素c。
4.根据权利要求1所述的方法,其特征在于,在步骤5)中,中央处理单元对每个返回结果进行处理和合并,包括以下步骤:
步骤4.1):生成一个空白区间,用于保存最终结果;
步骤4.2):对于计算单元返回的每一组结果数据,遍历索引结构的每一个节点,将该节点下所有元素其依次放入步骤4.1)的对应位置;
步骤4.3):将最终结果返回给用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中南大学,未经中南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910037666.7/1.html,转载请声明来源钻瓜专利网。