[发明专利]数据处理方法、设备、存储介质及系统在审
申请号: | 202111024712.3 | 申请日: | 2021-09-02 |
公开(公告)号: | CN113468107A | 公开(公告)日: | 2021-10-01 |
发明(设计)人: | 侯文彬;李飞飞;陆元飞;邢玉辉;苏茂萌;魏闯先;占超群 | 申请(专利权)人: | 阿里云计算有限公司;阿里巴巴(中国)有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 刘戈;孙明子 |
地址: | 310012 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例提供了一种数据处理方法、设备、存储介质及系统。方法包括:获取待存储数据,待存储数据用于持久化存储至数据库;基于待存储数据生成至少一个数据文件,每个数据文件包括至少一个文件块,每个文件块中包括多个行组文件,且数据文件为支持数据追加写和行列混存的存储格式;确定数据文件在不同文件粒度上的统计信息,文件粒度包括:与数据文件相对应的第一粒度、与文件块相对应的第二粒度、与行组文件相对应的第三粒度;将待存储数据和统计信息存储至数据库。本申请提供的技术方案,通过行列混存方式对数据进行存储,有效地避免文件数量爆炸的情况,另外,结合不同粒度的统计信息进行数据存储,有利于提高数据处理性能,降低延迟信息。 | ||
搜索关键词: | 数据处理 方法 设备 存储 介质 系统 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里云计算有限公司;阿里巴巴(中国)有限公司,未经阿里云计算有限公司;阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202111024712.3/,转载请声明来源钻瓜专利网。