[发明专利]一种数据更新方法和装置有效
申请号: | 201710594880.3 | 申请日: | 2017-07-20 |
公开(公告)号: | CN109284177B | 公开(公告)日: | 2021-03-30 |
发明(设计)人: | 白荣林;张帅;何坚韧;王浩 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;陆锦华 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 更新 方法 装置 | ||
本发明公开了一种数据更新方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:利用预设算法将输入的数据中对应相同业务编号的数据分发到同一执行机;在每个执行机中按照预设规则配置本执行机中数据的处理权限,所述预设规则为:在同一时刻对应相同业务编号的数据中只有一项数据被配置有所述处理权限;通过每个执行机将各自的被配置有所述处理权限的数据传送至数据存储集群以执行数据更新处理;当一执行机中被配置有所述处理权限的数据被执行完所述数据更新处理之后,该执行机释放该数据的所述处理权限。该实施方式能够在保证数据正确更新的前提下,降低处理延迟,提升系统吞吐量。
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据更新方法和装置。
背景技术
如今大数据在实际业务中应用越来越多,与数据处理相关的技术也得到飞速发展。在大数据场景下,为了匹配不同系统的处理速度,通常会采用管道来缓存以及传递数据,同时为了提升系统的处理能力,在实际应用中会采用多实例并行的方式处理数据,这种方式虽然加快了系统的处理速度,但也带来了数据的同步更新问题。
在电商业务中,订单状态的更新是常见的业务场景,业务方总是希望获取到订单最新的状态,而多条订单状态的更新信息有可能在多台实例上同时被处理,因此系统要确保订单状态被正确地更新。现有的技术方案采用对整个订单更新方法或对每个订单进行事务处理,即事务加锁。其中,无论是使用Spring的事务注解,还是使用Synchronized关键字(是Spring框架提供的一种加锁方法,底层实现是对Synchronized的包装),对整个订单更新方法进行加锁,将整个系统由并行处理变成了串行处理,并且需要考虑加锁解锁的开销,而对每个订单进行加锁需要对每个订单进行加解锁操作,性能开销较大,同时不同实例对同一订单进行加锁涉及到分布式锁,增加了系统的复杂度。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有方案会造成系统的处理能力大幅下降,增大了状态更新的延迟。
发明内容
有鉴于此,本发明实施例提供一种数据更新方法和装置,能够在保证数据正确更新的前提下,降低处理延迟,提升系统吞吐量。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据更新方法。
一种数据更新方法,包括:利用预设算法将输入的数据中对应相同业务编号的数据分发到同一执行机;在每个执行机中按照预设规则配置本执行机中数据的处理权限,所述预设规则为:在同一时刻对应相同业务编号的数据中只有一项数据被配置有所述处理权限;通过每个执行机将各自的被配置有所述处理权限的数据传送至数据存储集群以执行数据更新处理;当一执行机中被配置有所述处理权限的数据被执行完所述数据更新处理之后,该执行机释放该数据的所述处理权限。
可选地,所述预设算法为哈希算法或一致性哈希算法。
可选地,在每个执行机中按照预设规则配置本执行机中数据的处理权限的步骤,包括:按照数据达到本执行机的时间逐一配置各项数据的处理权限,其中,在配置每项数据的处理权限时,执行如下步骤:步骤一,判断与该项数据相同业务编号的其他数据中是否有数据已被配置有所述处理权限,若是,则执行步骤二,若否,则执行步骤三;步骤二,等待预设时间间隔,然后返回执行所述步骤一;步骤三,使该项数据被配置有所述处理权限。
可选地,所述输入的数据包括时间戳信息,所述执行数据更新处理的步骤包括:对每一项传送到所述数据存储集群的数据,所述数据存储集群判断是否存在与该传送的数据相同业务编号的已存数据;若是,则比对所述已存数据与所述传送的数据二者的时间戳信息,将所述二者中时间戳最新的数据作为新的已存数据;若否,则将所述传送的数据存入所述数据存储集群。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710594880.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置