[发明专利]计算节点的数据遍历方法、装置及计算节点在审
申请号: | 201810340710.7 | 申请日: | 2018-04-16 |
公开(公告)号: | CN110399394A | 公开(公告)日: | 2019-11-01 |
发明(设计)人: | 李玥;何小锋;刘海锋 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/22;G06F16/27 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 吕雁葭 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算节点 分片信息 数据分片 读取 数据遍历 遍历 存储 遍历操作 数据存储 并行 | ||
本公开提供了一种计算节点的数据遍历方法。所述数据存储在多个数据分片中,所述方法包括:获取多个分片信息,每一个分片信息对应一个数据分片;以及与至少一个其他计算节点并行地基于多个分片信息执行读取‑遍历操作,以遍历读取多个分片信息对应的数据分片存储的数据,其中,不同的计算节点遍历读取不同的数据分片存储的数据。本公开还提供了一种计算节点的数据遍历装置及计算节点。
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种计算节点的数据遍历方法、装置及计算节点。
背景技术
随着计算机技术的快速发展,为了满足互联网、流媒体、高性能计算、能源等数据密集型、高并发访问的行业需求,集群存储方式应运而生。
在实现本公开构思的过程中,发明人发现现有技术中至少存在如下问题:传统计算集群对存储集群中存储的数据通过以下方法遍历:首先调用数据存储系统遍历方法读取存储集群中存储的数据到ETL服务器的内存或磁盘上,再将数据分发给各计算节点。但是在此方法中,对于Redis、MySQL等存储集群,由于只支持单线程的顺序读取,因此无法发挥计算集群多节点的并发优势,因此数据遍历耗时长;再者,数据需要在网络上进行二次传输,遍历速度受限于ETL服务器的网络带宽和IO处理能力,因此数据遍历速度慢。
发明内容
有鉴于此,本公开提供了一种计算节点的数据遍历方法、装置及计算节点。
本公开的第一方面提供了一种计算节点的数据遍历方法,所述数据存储在多个数据分片中,该方法包括:获取多个分片信息,每一个分片信息对应一个数据分片;以及与至少一个其他计算节点并行地基于多个分片信息执行读取-遍历操作,以遍历读取多个分片信息对应的数据分片存储的数据,其中,不同的计算节点遍历读取不同的数据分片存储的数据。
根据本公开的实施例,上述方法还包括将多个分片信息写入预设的存储空间;上述读取-遍历操作包括:自预设的存储空间读取多个分片信息中的一个分片信息;以及基于读取的分片信息,遍历读取所述分片信息对应的数据分片存储的数据。
根据本公开的实施例,上述多个数据分片存储在存储集群的多个存储节点上,每个存储节点存储有一个或多个数据分片,上述方法还包括:获取多个数据分片的存储节点信息;则将多个分片信息写入预设的存储空间包括:基于预设的分配规则及所述存储节点信息,将多个分片信息均匀排列,以使具有相同存储节点信息的不同数据分片的分片信息间隔排列;以及将均匀排列的多个分片信息顺序写入预设的存储空间;上述自预设的存储空间读取多个分片信息中的一个分片信息包括:自均匀排列的多个分片信息中顺序读取一个分片信息。
根据本公开的实施例,上述读取-遍历操作还包括:在自预设的存储空间读取了多个分片信息中的一个分片信息的情况下,将读取的所述分片信息由第一状态置为第二状态;以及在遍历读取完分片信息对应的数据分片存储的数据的情况下,将分片信息由第二状态置为第三状态;其中,分片信息的第一状态表示分片信息能够被计算节点或至少一个其他计算节点读取;分片信息的第二状态表示分片信息已被读取,不能够再被读取;分片信息的第三状态表示分片信息对应的数据分片存储的数据已被遍历读取完,该分片信息不能够再被读取。
根据本公开的实施例,上述方法还包括:判断自预设的存储空间读取了多个分片信息中的一个分片信息的其他计算节点是否为故障节点;以及在其他计算节点为故障节点的情况下,将该故障节点读取的分片信息由第二状态置为第一状态,以供计算节点或除该故障节点外的至少一个其他计算节点读取。
根据本公开的实施例,上述方法还包括:判断多个分片信息是否均处于第三状态;在存在不处于第三状态的分片信息的情况下,间隔预设时间后返回重新判断;以及在多个分片信息均处于第三状态的情况下,完成所述数据的遍历。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810340710.7/2.html,转载请声明来源钻瓜专利网。