[发明专利]一种分布式大数据处理方法有效
| 申请号： | 201611258710.X | 申请日： | 2016-12-30 |
| 公开（公告）号： | CN106790620B | 公开（公告）日： | 2020-02-11 |
| 发明（设计）人： | 张全友;寇琼洁;陶战刚;钱和平;吴俊红 | 申请（专利权）人： | 许昌学院 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08 |
| 代理公司： | 61223 西安铭泽知识产权代理事务所(普通合伙) | 代理人： | 潘宏伟 |
| 地址： | 461000*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种分布式大数据处理方法，涉及数据处理技术领域。将超立方体数据模型中的节点划分为两个子超立方体，然后分别对每个子超立方体中的数据进行处理，随着规模n的变化，超立方体模型分布式算法的时间复杂度明显低于时戳分布式算法和DFS最小生成树分布式算法的时间复杂度。当n>k时，超立方体模型分布式算法的效率明显高于时戳分布式算法和DFS最小生成树分布式算法的效率。 | ||
| 搜索关键词： | 一种 分布式 数据处理 方法 | ||
【主权项】：
1.一种分布式大数据处理方法，其特征在于，所述方法包括：/n超立方体数据模型中具有n个节点，在该数据模型中随机选择一个节点作为中心元，然后将该中心元广播到其他节点，每个节点中的数据与该中心元的数据进行比较，其中数据量大于所述中心元的数据的节点组成第一子超立方体，数据量小于或等于所述中心元的数据的节点组成第二子超立方体；/n所述第一子超立方体与所述第二子超立方体之间互联的两个节点之间形成通信链路，将所述第一子超立方体和第二子超立方体之间沿第q条通信链路互联的节点彼此互换数据，则节点标号的第i位为0的节点组成的i-1维子超立方体包含的数据量都大于所述中心元中的数据，节点标号的第i位为1的节点组成的i-1维子超立方体包含剩余的数据；/n对互换数据后的每个子超立方体中的数据进行数据处理；/n对以上方法执行d次迭代，获得最终数据处理结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于许昌学院，未经许昌学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611258710.X/，转载请声明来源钻瓜专利网。
- 上一篇：追踪定长裁切系统
- 下一篇：一种折页机的栅栏板结构
