[发明专利]数据处理方法、装置、计算设备及计算机可读存储介质在审
| 申请号: | 202111491207.X | 申请日: | 2021-12-08 |
| 公开(公告)号: | CN114281852A | 公开(公告)日: | 2022-04-05 |
| 发明(设计)人: | 韩宇龙 | 申请(专利权)人: | 咪咕文化科技有限公司;中国移动通信集团有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22 |
| 代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 石志娟 |
| 地址: | 100032 北京市西城区德*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 计算 设备 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
接收分析处理请求;所述分析处理请求中包括筛选条件和分析需求信息;
根据所述筛选条件,从基于动态斜率的存储模型中获取目标数据;所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间;所述上方存储空间用于存储各个数据列在列级别下的高频访问数据,所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据;
根据所述分析需求信息及所述目标数据进行数据处理,得到分析处理结果。
2.根据权利要求1所述的方法,其特征在于,所述接收分析处理请求之前,所述方法包括:
获取原始数据;
构建所述原始数据的数据量K倍存储空间的动态窗体空间,K大于1;
在所述动态窗体空间内,以所述动态斜率为参照形成基准分界线;
将所述原始数据中各个数据列在列级别下的高频访问数据存储在所述上方存储空间;
将所述原始数据中的源数据在所述下方存储空间中按照斜率梯度存储在所述斜率分界线下方,形成源数据块;
在所述下方存储空间中所述源数据块下方存储多列组合的高频访问数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述分析处理请求,基于动态斜率的存储模型获取目标数据之后,所述方法还包括:
更新所述存储模型中的高频访问数据;
根据所述高频访问数据调整所述存储模型中数据位置,以调整所述存储模型的动态斜率。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述动态斜率通过一组反映基准分界线上的多个存储数据块在所述存储模型的动态窗体空间内位置的二维坐标值和指针索引值所构成的向量构成;
所述二维坐标值为所述存储数据块在存储模型中的位置坐标,所述索引值为所述动态斜率中上一个所述存储数据块的位置坐标。
5.根据权利要求4所述的方法,其特征在于,所述根据所述筛选条件,从基于动态斜率的存储模型中获取目标数据,包括:
对所述筛选条件进行解析,获取任务计算所需要的数据列信息、筛选范围及计算筛选条件;
根据所述数据列信息从所述下方存储空间中按照梯度顺序定位到一个或多个具体行;
依次获取对应具体行的行数据并与所述计算筛选条件做比对;
若对应具体行的行数据符合所述计算筛选条件,则将目标行中的行数据确定为所述目标数据;所述目标行为符合所述计算筛选条件的行数据所对应的具体行。
6.根据权利要求5所述的方法,其特征在于,所述依次获取对应具体行的行数据并与所述计算筛选条件做比对之后,还包括:
若不符合所述计算筛选条件,则从所述上方存储空间中定位到对应的一个或多个目标列队列;
并发地从所述目标列队列的队首开始依次获取数据;
将获取的数据与所述计算筛选条件做比对;
若获取的数据与所述计算筛选条件比对符合所述计算筛选条件,则继续比对所述目标列队列中的数据值直至满足所述筛选范围,得到所述目标数据。
7.根据权利要求6所述的方法,其特征在于,所述将获取的数据与所述计算筛选条件做比对之后,包括:
若获取的数据与所述计算筛选条件比对不符合所述计算筛选条件,则并发地从所述上方存储空间分别获取整列数据块;
从所述整列数据块中扫描,获取所述筛选范围内符合所述计算筛选条件的所述目标数据。
8.一种数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收分析处理请求;所述分析处理请求中包括筛选条件和分析需求信息;
获取模块,用于根据所述筛选条件,从基于动态斜率的存储模型中获取目标数据;所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间;所述上方存储空间用于存储各个数据列在列级别下的高频访问数据,所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据;
分析模块,用于根据所述分析需求信息及所述目标数据进行数据处理,得到分析处理结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于咪咕文化科技有限公司;中国移动通信集团有限公司,未经咪咕文化科技有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111491207.X/1.html,转载请声明来源钻瓜专利网。





