[发明专利]数据处理方法、装置、设备、介质及程序产品在审
申请号: | 202110796724.1 | 申请日: | 2021-07-14 |
公开(公告)号: | CN113535429A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 张维杰;贾冬冬;姚星星;李伟;孟海秀;王克刚 | 申请(专利权)人: | 青岛海尔工业智能研究院有限公司;海尔卡奥斯物联生态科技有限公司;海尔数字科技(青岛)有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F9/455;G06F16/955;G06F21/31;G06F21/62;G06N3/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张娜;黄健 |
地址: | 266555 山东省青岛市黄岛*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 介质 程序 产品 | ||
1.一种数据处理方法,其特征在于,包括:
获取数据请求,所述数据请求用于为计算节点集群中至少一个第一计算节点申请调用目标数据,所述目标数据由多个数据单元组成;
根据所述数据请求确定各个所述数据单元的调用地址,所述调用地址包括:第一地址,和/或第二地址,所述第一地址为所述计算节点集群中至少一个第二计算节点的地址,所述第二地址为存储节点集群中至少一个目标存储节点中数据库中的存储地址;
根据所述调用地址调用所有所述数据单元,并将所有所述数据单元组合成所述目标数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述获取数据请求,包括:
通过所述计算节点集群中的管理节点接收至少一个所述第一计算节点发送的所述数据请求;
对应的,所述根据所述数据请求确定各个所述数据单元的调用地址,包括:
通过所述管理节点向至少一个所述目标存储节点发送所述数据请求,以使所述目标存储节点根据所述目标数据确定所述调用地址;
通过所述管理节点接收所述目标存储节点反馈的所述调用地址;
对应的,所述根据所述调用地址调用所有所述数据单元,并将所有所述数据单元组合成所述目标数据,包括:
通过所述管理节点,根据所述调用地址,将所有所述数据单元组合成所述目标数据,并将所述目标数据发送给所述第一计算节点。
3.根据权利要求2所述的数据处理方法,其特征在于,所述获取数据请求,包括:
在所述第一计算节点中响应于预设任务的触发指令,确定所述数据请求,所述数据请求用于使所述第一计算节点调用所述目标数据来执行所述预设任务;
对应的,所述根据所述数据请求确定各个所述数据单元的调用地址,包括:
通过所述第一计算节点,根据所述目标数据以及预设分割方式,向所述计算节点集群中至少一个其它计算节点发送第二数据请求,所述第二数据请求用于从各个所述数据节点中获取到所述数据单元;
接收各个所述其它计算节点返回的应答结果,并根据所述应答结果判断是否接收到了全部的所述数据单元;
若是,则将全部的所述数据单元组合成所述目标数据;
若否,则向至少一个所述目标存储单元发送第三数据请求,所述第三数据请求用于从所述目标存储单元中获取到剩余的所述数据单元。
4.根据权利要求2或3所述的数据处理方法,其特征在于,在向至少一个所述目标存储节点发送数据请求之前,还包括:
获取所述存储节点集群中各个存储节点的工作状态信息;
根据所述工作状态信息,在各个所述存储节点中筛选出满足预设要求的至少一个所述目标存储节点。
5.根据权利要求1所述的数据处理方法,其特征在于,所述获取数据请求,包括:
通过所述目标存储节点接收所述数据请求;
对应的,根据所述数据请求确定各个所述数据单元的调用地址,包括:
通过所述目标存储节点,根据所述数据请求中的所述目标数据,确定各个所述数据单元;
通过所述目标存储节点,在所述计算节点集群的各个计算节点中,确定部分或全部所述数据单元所对应的所述第一地址;
若所述第二计算节点中没有包含所有的所述数据单元,在数据库中确定剩余的所述数据单元对应的所述第二地址。
6.一种集群系统,其特征在于,包括:基于预设应用容器引擎的计算节点集群以及存储节点集群;其中,
所述计算节点集群中包括多个计算节点以及至少一个管理节点,所述计算节点用于执行预设任务,所述管理节点用于处理所述计算节点集群与所述存储节点集群间的数据交互;
所述存储节点集群中包括多个存储节点,每个所述存储节点中包括:镜像库组件以及接口组件,所述镜像库组件中的镜像库中存储有各种类型的镜像文件,所述接口组件包括:基于预设服务平台的统一资源定位接口,所述接口组件被配置为:缓存所述镜像文件,以及对用户的身份信息进行认证;
所述集群系统用于实现权利要求1-5中任意一项所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于青岛海尔工业智能研究院有限公司;海尔卡奥斯物联生态科技有限公司;海尔数字科技(青岛)有限公司,未经青岛海尔工业智能研究院有限公司;海尔卡奥斯物联生态科技有限公司;海尔数字科技(青岛)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110796724.1/1.html,转载请声明来源钻瓜专利网。