[发明专利]数据分区存储方法、装置及系统有效
申请号: | 202010977031.8 | 申请日: | 2020-09-17 |
公开(公告)号: | CN111930848B | 公开(公告)日: | 2021-04-13 |
发明(设计)人: | 张腾;蔡鑫;张铁赢;王剑英;黄贵;李飞飞 | 申请(专利权)人: | 阿里云计算有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F3/06 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 周嗣勇 |
地址: | 310024 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 分区 存储 方法 装置 系统 | ||
1.一种数据分区存储系统,包括:
数据分析设备,用于根据数据库所含的目标数据的数据特征,确定所述目标数据对应的热度等级;
数据库内核,所述数据库内核被部署于区别于所述数据分析设备的目标设备上,以形成所述数据库;
所述数据分析设备用于生成包含所述目标数据的标识信息和热度等级的目标文件,并将所述目标文件传输至所述目标设备,所述数据库内核用于从所述目标文件中获取所述目标数据对应的热度等级并将所述目标数据存储至对应于所述热度等级的存储区域。
2.根据权利要求1所述的系统,所述数据分析设备获取数据库所含的目标数据的数据特征的方式,包括:
获取对应于所述目标数据的SQL日志;
通过对所述SQL日志进行解析,确定所述目标数据的数据特征。
3.根据权利要求2所述的系统,所述数据分区存储系统还包括日志存储设备,所述日志存储设备用于存储从所述目标设备获取到的所述数据库的SQL日志;所述数据分析设备获取对应于所述目标数据的SQL日志,包括:
从所述日志存储设备获取对应于所述目标数据的SQL日志。
4.根据权利要求1所述的系统,所述数据分析设备确定所述目标数据对应的热度等级的方式,包括:
将获取到的所述目标数据的数据特征输入预先训练的热度分析模型,获得所述热度分析模型输出的所述目标数据的热度等级。
5.根据权利要求4所述的系统,所述数据分区存储系统还包括热度等级预测设备,所述热度等级预测设备包括热度分析模型;所述数据分析设备获得所述热度分析模型输出的所述目标数据的热度等级,包括:
接收由所述热度等级预测设备发送的所述目标数据的热度等级,所述热度等级由所述热度等级预测设备中的热度分析模型输出。
6.根据权利要求1所述系统,所述数据库内核将所述目标数据存储至对应于所述热度等级的存储区域,包括:
所述数据库内核确定所述目标数据所处的当前存储区域;
在所述热度等级与所述当前存储区域不匹配的情况下,将所述目标数据迁移至所述热度等级对应的存储区域。
7.根据权利要求1所述的系统,所述数据库内核对存储区域的访问速度与所述存储区域对应的热度等级呈正相关。
8.根据权利要求1所述的系统,所述数据分析设备获取数据库所含的目标数据的数据特征的方式,包括:
通过轮询所述数据库中的元信息,监听所述数据库中各个数据库表的存储模式;
为对应的存储模式为分区存储模式的数据库表派生子进程,以获取所述数据库表所含数据的数据特征。
9.根据权利要求1所述的系统,所述数据分析设备用于:
在确定所述目标数据对应的热度等级后,向所述目标设备发送数据迁移的通知消息,以由所述数据库内核在接收到所述通知消息后将所述目标数据迁移至对应于所述热度等级的存储区域。
10.一种数据分区存储方法,应用于数据分析设备;所述方法包括:
根据目标数据库中的目标数据的数据特征,确定所述目标数据对应的热度等级,其中,数据库内核被部署于区别于所述数据分析设备的目标设备上,以形成所述目标数据库;
将所述目标数据的标识信息和热度等级相关联地发送至所述目标数据库,以由所述目标数据库根据所述热度等级将所述目标数据存储至相应的存储区域。
11.根据权利要求10所述的方法,获取所述目标数据库中的目标数据的数据特征的方式,包括:
获取对应于所述目标数据的SQL日志;
通过对所述SQL日志进行解析,确定所述目标数据的数据特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司,未经阿里云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010977031.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置