[发明专利]基于分布式存储的数据处理方法、装置、设备以及介质有效
申请号: | 202110188344.X | 申请日: | 2021-02-19 |
公开(公告)号: | CN112559637B | 公开(公告)日: | 2021-06-18 |
发明(设计)人: | 刘区城;李茂材;王宗友;蓝虎;周开班;孔利;刘攀;朱耿良;时一防 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/2455 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分布式 存储 数据处理 方法 装置 设备 以及 介质 | ||
1.一种基于分布式存储的数据处理方法,其特征在于,包括:
在将第一区块的第一块数据写入本地缓存和本地存储时,对与所述本地缓存相关联的存储缓冲池的第一区块处理空间进行空间检测,得到第一空间检测结果;所述存储缓冲池中包括N个待存块数据;所述N为非负整数,且所述N用于表征所述第一区块处理空间的待存区块数量;
若所述第一空间检测结果指示所述待存区块数量未达到所述第一区块处理空间的缓冲区块处理阈值,则基于所述N个待存块数据将所述第一块数据写入所述存储缓冲池;
对与所述存储缓冲池相关联的存储处理池的第二区块处理空间进行空间检测,得到第二空间检测结果;所述存储处理池用于存储与分布式数据库相关联的M个待反馈块数据;所述M为非负整数,且所述M用于表征所述第二区块处理空间的待反馈区块数量;
若所述第二空间检测结果指示所述待反馈区块数量未达到所述第二区块处理空间的反馈区块处理阈值,则基于所述待反馈区块数量和所述反馈区块处理阈值,从所述存储缓冲池中确定待合并块数据,对所述待合并块数据和所述M个待反馈块数据进行重叠检测,将重叠检测后的数据写入所述分布式数据库。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在执行层接收到由共识层发送的第一区块时,获取所述第一区块中的K1个交易业务;所述第一区块包括第一区块头信息、与所述K1个交易业务相关联的交易列表;所述K1为正整数;
获取用于执行每个交易业务的业务合约,通过所述每个交易业务的业务合合约执行所述每个交易业务,得到所述每个交易业务的交易执行结果;
将所述第一区块头信息、所述交易列表以及所述每个交易业务的交易执行结果,作为所述第一区块的第一块数据;
在将第一区块的第一块数据写入本地缓存时,将所述第一区块的第一块数据写入所述本地缓存对应的本地存储。
3.根据权利要求2所述的方法,其特征在于,所述获取用于执行每个交易业务的业务合约,通过所述每个交易业务的业务合合约执行所述每个交易业务,得到所述每个交易业务的交易执行结果,包括:
基于每个交易业务的合约调用地址,获取用于执行每个交易业务的业务合约;
通过所述每个交易业务的业务合约从所述本地缓存中查找与所述每个交易业务的相关联的目标数据;
若在所述本地缓存中查找到与所述每个交易业务的相关联的目标数据,则将在所述本地缓存中查找到的目标数据作为所述每个交易业务的目标读取数据;
基于所述每个交易业务的目标读取数据执行所述每个交易业务,得到所述每个交易业务的交易执行结果。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若在所述本地缓存中未查找到与所述每个交易业务的相关联的目标数据,则通过所述业务合约从所述分布式数据库中查找与所述每个交易业务的相关联的目标数据,将从所述分布式数据库中查找到的目标数据作为所述每个交易业务的目标读取数据。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在将所述第一块数据写入所述本地缓存和所述本地存储时,通知所述执行层执行第二区块中的K2个交易业务;所述第二区块是由所述共识层对所述K2个交易业务进行打包后所得到的;所述K2为正整数;所述第二区块为所述第一区块的下一区块。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在将所述第一块数据写入所述存储缓冲池时,接收由所述执行层发送的所述第二区块的第二块数据;所述第二块数据是所述执行层在执行完所述K2个交易业务之后得到的;
通过第一刷新线程对所述存储缓冲池的第一区块处理空间进行缓冲刷新,得到缓冲刷新结果,且用所述缓冲刷新结果更新所述第一空间检测结果;
若更新后的第一空间检测结果指示所述待存区块数量未达到所述存储缓冲池的缓冲区块处理阈值,则将所述第二块数据添加至所述第一块数据所在的所述存储缓冲池。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110188344.X/1.html,转载请声明来源钻瓜专利网。