[发明专利]一种数据并行处理的方法及服务器有效
申请号: | 201611229837.9 | 申请日: | 2016-12-27 |
公开(公告)号: | CN108241718B | 公开(公告)日: | 2022-02-11 |
发明(设计)人: | 黄伟;黄东波 | 申请(专利权)人: | 腾讯科技(北京)有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2455 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 蒋雅洁;张颖玲 |
地址: | 100080 北京市海淀区海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 并行 处理 方法 服务器 | ||
1.一种数据并行处理的方法,其特征在于,所述方法包括:
从数据库中加载至少包括消耗数据和预算数据的第一数据到内存中,所述第一数据为对应当前第一时刻的最新数据;所述预算数据用于表征由终端用户写入的符合预期业务需求的数据类型;所述消耗数据用于表征与所述预算数据相关消耗的数据类型;
当检测到所述数据库出现数据处理阻塞时,从所述内存中读取至少包括所述消耗数据和所述预算数据的第二数据,所述第二数据为对应上一个第二时刻的旧数据;
通过计费处理线程对以异步方式获取到的所述第二数据进行计费,得到待提交给所述数据库的包括实际消耗数据和计费明细数据的待提交数据,将所述待提交数据放到缓冲区;
通过数据库线程从所述缓冲区不断读取得到的所述待提交数据进行数据库的异步持久化处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述计费处理线程对所述消耗数据进行维护时,从所述内存中读取当前时刻之前的第一消耗数据、当前时刻的第二消耗数据、对应所述缓冲区内待提交数据块的第三消耗数据;
将所述第一消耗数据依次加上所述第三消耗数据和所述第二消耗数据进行校验。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到将所述待提交数据放到缓冲区的操作为失败时,执行容错回退策略,返回所述计费处理线程,以再次提交所述待提交数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述缓冲区的至少一个待提交数据按照等效合并策略进行数据合并。
5.一种服务器,其特征在于,所述服务器包括:
加载单元,用于从数据库中加载至少包括消耗数据和预算数据的第一数据到内存中,所述第一数据为对应当前第一时刻的最新数据;所述预算数据用于表征由终端用户写入的符合预期业务需求的数据类型;所述消耗数据用于表征与所述预算数据相关消耗的数据类型;
读取单元,用于当检测到所述数据库出现数据处理阻塞时,从所述内存中读取至少包括所述消耗数据和所述预算数据的第二数据,所述第二数据为对应上一个第二时刻的旧数据;
计费单元,用于通过计费处理线程对以异步方式获取到的所述第二数据进行计费,得到待提交给所述数据库的包括实际消耗数据和计费明细数据的待提交数据,将所述待提交数据放到缓冲区;
回写处理单元,用于通过数据库线程从所述缓冲区不断读取得到的所述待提交数据进行数据库的异步持久化处理。
6.根据权利要求5所述的服务器,其特征在于,所述计费单元,进一步用于:
通过所述计费处理线程对所述消耗数据进行维护时,从所述内存中读取当前时刻之前的第一消耗数据、当前时刻的第二消耗数据、对应所述缓冲区内待提交数据块的第三消耗数据;
将所述第一消耗数据依次加上所述第三消耗数据和所述第二消耗数据进行校验。
7.根据权利要求5所述的服务器,其特征在于,所述服务器还包括:回退单元,用于:
当检测到将所述待提交数据放到缓冲区的操作为失败时,执行容错回退策略,返回所述计费处理线程,以再次提交所述待提交数据。
8.根据权利要求5所述的服务器,其特征在于,所述服务器还包括:合并单元,用于:
将所述缓冲区的至少一个待提交数据按照等效合并策略进行数据合并。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至4中任一项所述的数据并行处理的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有可执行指令,用于引起处理器执行时,实现权利要求1至4中任一项所述的数据并行处理的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(北京)有限公司,未经腾讯科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611229837.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据处理方法、装置及系统
- 下一篇:一种质量检测数据查询系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置