[发明专利]一种对象存储方法及装置有效
申请号: | 201811580291.0 | 申请日: | 2018-12-24 |
公开(公告)号: | CN111352577B | 公开(公告)日: | 2023-03-14 |
发明(设计)人: | 郑波荣 | 申请(专利权)人: | 杭州海康威视系统技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 310051 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 对象 存储 方法 装置 | ||
1.一种对象存储方法,其特征在于,所述方法应用于分布式存储系统的网关中,所述分布式存储系统还包括至少一个存储节点,所述方法包括:
接收客户端上传的数据上传请求,所述数据上传请求包括对象标识ID和对象大小K;
根据所述对象大小K和所述分布式存储系统中各在线存储节点的剩余存储空间,按照负载均衡方式确定各在线存储节点中用于存储所述对象标识ID对应的对象数据的对象分片大小,其中,所述在线存储节点中的所述对象分片大小之和为所述对象大小K;
控制待存储的所述对象标识ID对应的对象数据按照各在线存储节点的所述对象分片大小存储至各在线存储节点;
针对各个在线存储节点,获取所述在线存储节点存储所述对象分片的目标存储位置;
根据所述目标存储位置生成所述在线存储节点存储的对象分片的索引信息;
将所述索引信息发送至该在线存储节点中,以使得所述在线存储节点根据所述索引信息,在检测到针对存储的对象分片对应的对象数据的数据下载请求时,向所述网关返回该对象分片。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对象大小K和所述分布式存储系统中各在线存储节点的剩余存储空间,按照负载均衡方式确定各在线存储节点中用于存储所述对象标识ID对应的对象数据的对象分片大小,包括:
获取所述分布式存储系统中各在线存储节点的剩余存储空间;
针对每个在线存储节点,根据该在线存储节点的剩余存储空间以及所述分布式存储系统的总剩余空间计算该在线存储节点的剩余空间比例,并根据该在线存储节点的剩余空间比例以及所述对象大小K确定该在线存储节点中用于存储所述对象标识ID对应的对象数据的对象分片大小,其中,所述分布式存储系统的总剩余空间为各个在线存储节点的剩余存储空间之和。
3.根据权利要求2所述的方法,其特征在于,所述获取所述分布式存储系统中各在线存储节点的剩余存储空间,包括:
获取各存储节点的状态信息,所述状态信息至少包括:在线标识、剩余存储空间,其中,当所述在线标识为第一值时表示所述存储节点在线,当所述在线标识为第二值时表示所述存储节点离线;
将所述状态信息中在线标识为第一值的各存储节点确定为在线存储节点;
从已获取的各在线存储节点的状态信息中获取各在线存储节点的剩余存储空间。
4.根据权利要求3所述的方法,其特征在于,所述获取各存储节点的状态信息,包括:
对与所述分布式存储系统连接的Zookeeper集群进行监听,所述Zookeeper集群包括多个顺序节点,所述顺序节点与所述分布式存储系统中的存储节点一一对应,且存储对应的存储节点的状态信息;
当监听到所述顺序节点写入状态信息时,从该顺序节点中读取所述状态信息。
5.根据权利要求1所述的方法,其特征在于,所述数据上传请求还包括所述对象标识ID对应的对象数据,
所述控制待存储的所述对象标识ID对应的对象数据按照各在线存储节点的所述对象分片大小存储至各在线存储节点,包括:
将所述对象数据按照各在线存储节点的所述对象分片大小进行切分;
针对各在线存储节点,将切分得到的与该在线存储节点的对象分片大小对应的对象分片存储至该在线存储节点中。
6.根据权利要求1所述的方法,其特征在于,所述控制待存储的所述对象标识ID对应的对象数据按照各在线存储节点的所述对象分片大小存储至各在线存储节点,包括:
将各在线存储节点对应的对象分片大小发送至客户端,以由所述客户端将所述对象标识ID对应的对象数据按照各在线存储节点的所述对象分片大小进行切分,得到各在线存储节点对应的对象分片;
接收所述客户端上传的各在线存储节点对应的对象分片,并将所述对象分片存储至对应的在线存储节点中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视系统技术有限公司,未经杭州海康威视系统技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811580291.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种作业调度方法和装置
- 下一篇:一种固定于桥体的内河清淤打捞船辅助装置