[发明专利]分布式并行数据处理方法以及装置有效
| 申请号： | 201610383167.X | 申请日： | 2016-06-01 |
| 公开（公告）号： | CN106095832B | 公开（公告）日： | 2020-02-18 |
| 发明（设计）人： | 李东鸽;牟晓光 | 申请（专利权）人： | 东软集团股份有限公司;国家信息中心 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 张大威 |
| 地址： | 110179 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式并行数据处理方法以及装置。其中方法包括：接收待处理数据，并将待处理数据切割为多个切片索引；将多个切片索引存储至多个缓存池中；针对每个缓存池，为每个缓存池分配至少两个分布式节点；控制至少两个分布式节点依次从对应的缓存池中读取切片索引，并对读取到的切片索引执行处理。该方法可以大大降低数据的整体处理时间，提高处理效率，并在保障可以存储更多信息的同时，还可以减少锁的开销，提升了数据的读取速度，以及还可以充分利用计算机的资源和性能。 | ||
| 搜索关键词： | 分布式 并行 数据处理 方法 以及 装置 | ||
【主权项】：
一种分布式并行数据处理方法，其特征在于，包括以下步骤：接收待处理数据，并将所述待处理数据切割为多个切片索引；将所述多个切片索引存储至多个缓存池中；针对每个缓存池，为所述每个缓存池分配至少两个分布式节点；控制所述至少两个分布式节点依次从对应的缓存池中读取切片索引，并对所述读取到的切片索引执行处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司;国家信息中心，未经东软集团股份有限公司;国家信息中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610383167.X/，转载请声明来源钻瓜专利网。
- 上一篇：扭力杆荧粉探伤机
- 下一篇：一种NFC移动支付终端的安全模块管理方法及终端
