[发明专利]基于定时任务的数据同步方法、装置、终端及存储介质在审

专利信息
申请号: 201910792769.4 申请日: 2019-08-26
公开(公告)号: CN110659138A 公开(公告)日: 2020-01-07
发明(设计)人: 刘丽珍;吕小立;刘芳 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06F9/52 分类号: G06F9/52;G06F16/23
代理公司: 44334 深圳市赛恩倍吉知识产权代理有限公司 代理人: 刘丽华
地址: 518000 广东省深圳市福田区福*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明提供了一种基于定时任务的数据同步方法,所述方法包括:获取定时任务的启动时间和源数据的获取时间段;响应于所述启动时间对应的启动指令,通过主线程启动多个子线程并发同步源数据;根据获取时间段验证所述多个子线程的同步数据是否存在丢失;当不存在丢失时,控制单线程拉取每个子线程的同步数据并分页存储于内存中;逐一验证内存中的存储数据是否与源数据相同;当不相同时,获取并发同步时遗漏的数据;将遗漏的数据插入于存储数据中得到最终的同步数据。本发明还提供了一种基于定时任务的数据同步装置、终端及存储介质。本发明通过设置定时任务启动多个子线程并发同步源数据并进行验证,提高了数据同步的效率,确保了数据同步的正确性。
搜索关键词: 数据同步 同步数据 线程 并发 存储数据 验证 时间段 同步源 源数据 内存 遗漏 数据同步装置 存储介质 分页存储 启动指令 任务启动 单线程 主线程 子线程 拉取 终端 响应
【主权项】:
1.一种基于定时任务的数据同步方法,其特征在于,所述方法包括:/n获取定时任务的启动时间和源数据的获取时间段;/n响应于所述启动时间对应的启动指令,通过主线程启动多个子线程并发同步所述源数据;/n根据所述获取时间段验证所述多个子线程的同步数据是否存在丢失;/n当验证所述同步数据不存在丢失时,控制单线程拉取每个所述子线程的同步数据并分页存储于内存中;/n逐一验证所述内存中的存储数据是否与所述源数据相同;/n当所述内存中的存储数据与所述源数据不相同时,获取所述并发同步时遗漏的数据;/n将所述遗漏的数据插入于所述存储数据中得到最终的同步数据。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201910792769.4/,转载请声明来源钻瓜专利网。

同类专利
  • 一种多用户串行编辑文件的方法、装置、设备及存储介质-201910894159.5
  • 祝恩桥 - 北京浪潮数据技术有限公司
  • 2019-09-20 - 2020-02-14 - G06F9/52
  • 本发明公开了一种多用户串行编辑文件的方法,包括:获取请求用户对目标文件的编辑请求,判断目标文件是否被锁定;若目标文件被锁定,则向目标文件的当前编辑用户发送编辑请求;当接收到当前编辑用户针对编辑请求发送的确认编辑指令时,获取请求用户对目标文件的目标编辑指令,并执行目标编辑指令;向目标用户发送目标文件的编辑画面;该方法在同一时间仅允许一个用户对目标文件进行编辑,解决了多人同时对目标文件进行编辑造成的编辑混乱问题;同时向目标用户发送编辑画面,使目标用户了解目标文件的编辑情况,提高了多人协同办公工作效率。此外,本发明还提供了一种多用户串行编辑文件的装置、设备及计算机可读存储介质,同样具有上述有益效果。
  • 一种防缓存击穿方法及其注解组件-201910960329.5
  • 石永明 - 北京美鲜科技有限公司
  • 2019-10-10 - 2020-02-07 - G06F9/52
  • 本申请涉及一种防缓存击穿方法,包括:解析步骤:解析查询请求,得到key;判断步骤:判断缓存中是否存在Key的对应数据;读取步骤:若缓存中存在Key的对应数据,则将该对应数据返回;若否,则对Key进行加锁,在加锁成功后,执行一组数据库读写操作,将该组数据库读写操作的结果写入缓存,移除锁,返回缓存中的结果。此外,还涉及一种防缓存击穿注解组件,包括:解析单元,用以解析查询请求,得到key;判断单元,用以判断缓存中是否存在Key的对应数据;读取单元,若缓存中存在Key的对应数据,则将该对应数据返回;若否,则对Key进行加锁,在加锁成功后,执行一组数据库读写操作,将该组数据库读写操作的结果写入缓存,移除锁,返回缓存中的结果。
  • 一种面向多核确定性的基于硬件的内存隔离方法-201710596016.7
  • 季振洲;周一豪;王开宇 - 哈尔滨工业大学(威海)
  • 2017-07-20 - 2020-02-07 - G06F9/52
  • 本发明公开了一种面向多核确定性的基于硬件的内存隔离方法,步骤包括:多线程程序初始化时,每个线程的虚拟内存均映射到相同的物理内存;程序运行时,分并行阶段和串行阶段;并行阶段中,各线程独立执行,只有在线程对某虚拟内存页面进行了写操作,才生成该线程私有的物理内存页面,并将该线程的该虚拟内存页面映射至新生成的私有物理内存页面之上;串行阶段中,按照确定性顺序,将私有物理内存页面中修改的内容提交到共享物理内存页面中。本发明能够消除多线程程序中的并行错误,保证并行阶段的独立执行,且执行效率高,空间消耗少。另外,本方法的实现机制对程序编写者来说是透明的,能够提高编程效率。
  • 一种基于异步调用实现同步调用的处理方法及装置-201710525773.5
  • 李从章;张文明;陈少杰 - 武汉斗鱼网络科技有限公司
  • 2017-06-30 - 2020-02-07 - G06F9/52
  • 本发明公开了一种基于异步调用实现同步调用的处理方法及装置,其中的方法包括:获取预设的用于异步调用的第一函数,所述第一函数的参数包括第一回调函数;根据所述第一函数的参数生成用于同步调用的第二函数,其中,所述第二函数的参数包括第二回调函数和时间;构建所述第二回调函数与所述第一回调函数的对应关系,并根据所述对应关系,在所述第二函数中调用所述第一函数,通过所述第一函数异步调用所述第一回调函数;如果获得所述第一回调函数的执行结果的等待时间小于所述时间参数的值,则通过所述第二函数同步调用所述第二回调函数。本发明解决了现有技术中异步调用方法容易导致多线程带来的安全和同步的技术问题。
  • 一种多用户在线编辑管理方法、装置及系统-201910828249.4
  • 王广邦;孙迁;张毅;武丽鸿;周雅欣 - 苏宁云计算有限公司
  • 2019-09-03 - 2020-02-04 - G06F9/52
  • 本发明实施例公开了一种多用户在线编辑管理方法、装置及系统,解决了多用户同时编辑相同数据资源,造成数据不同步的技术问题。在本发明实施中,用户对资源进行编辑前,终端先发送携带有通信标识的编辑请求给服务器,服务器判断该资源有无锁,若无锁则对该资源加锁,设置锁标识为通信标识,允许该用户对资源进行编辑,结束编辑后终端通知服务器释放该资源的锁。通信标识根据用户标识和编辑页签标签生成,不同用户、不同终端以及不同编辑页签,发送的编辑请求中的通信标识均不同,在资源加锁期间,服务器只允许发送的编辑请求中通信标识与锁标识相同的用户进行编辑,其他用户对该资源的编辑请求都会被拒绝,避免了数据的冲突,保证了数据的完整性。
  • 一种数据同步的方法及终端-201710531155.1
  • 刘德建;陈铭;魏仁海;钟良德;郭玉湖 - 福建网龙计算机网络信息技术有限公司
  • 2017-07-03 - 2020-01-31 - G06F9/52
  • 本发明涉及编码领域,尤其涉及一种数据同步的方法及终端。本发明通过S1、预设源对象;S2、获取与所述源对象对应的一用户界面组件;S3、绑定所述源对象的第一属性和所述一用户界面组件的第二属性;S4、当所述第一属性的值发生变化时,根据所述第一属性的当前值更新所述第二属性的值。实现了在同步业务逻辑层生成的业务数据和业务表现层显示的数据的过程中提高系统资源利用率,降低系统负荷,从而提高了系统性能和用户体验。
  • 数据压缩方法、装置、计算机设备及存储介质-201910842595.8
  • 宋小兵 - 深圳平安通信科技有限公司
  • 2019-09-06 - 2020-01-17 - G06F9/52
  • 本发明实施例公开了一种数据压缩方法、装置、计算机设备及存储介质。本发明应用于云存储中的数据压缩存储领域。所述方法包括:若后台压缩线程接收到压缩指令,从压缩列表中获取当前的待压缩对象;通过状态机对当前的待压缩对象进行加锁并根据事务标识判断当前的待压缩对象是否被前端事务线程操作;若当前的待压缩对象未被前端事务线程操作,对当前的待压缩对象进行解锁并压缩;若当前的待压缩对象被前端事务线程操作,则从所述压缩列表中获取下一个待压缩对象进行压缩。通过实施本发明实施例的方法可实现前端事务线程不会被阻塞,优先级高,提高数据写入速度的效果。
  • 一种同步个性化数据的方法、装置及移动终端-201610864286.7
  • 任超 - OPPO广东移动通信有限公司
  • 2016-09-29 - 2020-01-14 - G06F9/52
  • 本发明公开了一种同步个性化数据的方法、装置及移动终端。所述方法包括:检测到用户的个性化数据同步指令时,生成数据下载指令;获取当前移动终端的身份识别号;将所述数据下载指令和所述身份识别号发送给第一智能音箱,以使所述第一智能音箱根据所述数据下载指令和所述身份识别号从服务器端下载待同步个性化数据并覆盖本地对应的个性化数据。本发明实施例提供的技术方案,使得服务器端存储的个性化数据可同步到当前使用的智能音箱中,从而能够实现个性化数据在多个音箱系统中的同步,方便了用户操作,提升了用户体验。
  • 一种信息同步方法、装置及终端设备-201610885250.7
  • 黄宏用 - OPPO广东移动通信有限公司
  • 2016-10-10 - 2020-01-14 - G06F9/52
  • 本发明实施例公开了一种信息同步方法、装置及终端设备,该方法包括:获取用户通过应用软件执行的操作指令,并对所述操作指令依次进行记录;控制和所述应用软件相同的应用同步执行所述操作指令,以完成各个相同应用之间的信息同步;其中,所述应用软件和与其相同的应用分别安装于不同用户下。本方案实现了多个相同应用之间的信息同步,极大的简化了用户的操作步骤,提高了执行效率。
  • 基于定时任务的数据同步方法、装置、终端及存储介质-201910792769.4
  • 刘丽珍;吕小立;刘芳 - 平安科技(深圳)有限公司
  • 2019-08-26 - 2020-01-07 - G06F9/52
  • 本发明提供了一种基于定时任务的数据同步方法,所述方法包括:获取定时任务的启动时间和源数据的获取时间段;响应于所述启动时间对应的启动指令,通过主线程启动多个子线程并发同步源数据;根据获取时间段验证所述多个子线程的同步数据是否存在丢失;当不存在丢失时,控制单线程拉取每个子线程的同步数据并分页存储于内存中;逐一验证内存中的存储数据是否与源数据相同;当不相同时,获取并发同步时遗漏的数据;将遗漏的数据插入于存储数据中得到最终的同步数据。本发明还提供了一种基于定时任务的数据同步装置、终端及存储介质。本发明通过设置定时任务启动多个子线程并发同步源数据并进行验证,提高了数据同步的效率,确保了数据同步的正确性。
  • 一种自动分析嵌入式设备死锁的方法及系统-201910707294.4
  • 林炎章;黄桂生;陈智松 - 厦门亿联网络技术股份有限公司
  • 2019-08-01 - 2019-12-24 - G06F9/52
  • 本发明公开了一种自动分析嵌入式设备死锁的方法,包括获取嵌入式设备上的第一进程的第一进程信息,然后根据第一进程信息匹配得到第一进程对应的第一Nostriped文件和第一Nostriped动态链接库,再控制嵌入式设备加载第一Nostriped文件和第一Nostriped动态链接库,生成并返回第一进程的第一线程信息,最后对第一线程信息进行死锁分析,生成分析结果,并将分析结果进行显示,能够在嵌入式设备发生线程死锁的时候,快速分析线程死锁原因,提高分析嵌入式设备线程死锁的效率。
  • 一种释放互斥锁的方法、装置及电子设备-201610561896.X
  • 李文靖 - 珠海豹趣科技有限公司
  • 2016-07-15 - 2019-12-24 - G06F9/52
  • 本发明的实施例公开一种释放互斥锁的方法、装置及电子设备,涉及信息安全技术,能够有利于提升操作系统的安全防护效率。包括:获取进程环境块中的进程资源锁信息,获取所述进程资源锁信息中的锁定字段;判断所述进程资源锁信息中的锁定字段是否为锁定状态;如果所述锁定字段为锁定状态,根据所述进程资源锁信息的指针更新所述锁定字段为非锁定状态。
  • 进程间的数据传输方法、装置、终端及计算机存储介质-201910806128.X
  • 苏宪伟;刘益彰;谢铮;熊友军 - 深圳市优必选科技股份有限公司
  • 2019-08-29 - 2019-12-20 - G06F9/52
  • 本申请适用于计算机技术领域,提供了一种进程间的数据传输方法、装置、终端及计算机存储介质,该方法包括:第一进程向第二进程发送待写入数据时,获取第一进程与第二进程之间的共享内存的互斥锁;所述互斥锁为已打开死锁修复的功能的快速用户空间互斥锁;若所述互斥锁的状态为解锁状态,则将所述待写入数据写入所述共享内存;在所述待写入数据写入完成时,向所述第二进程发送条件信号,并将所述互斥锁的状态设置为解锁状态;所述条件信号用于指示所述第二进程读取所述共享内存的数据;降低了数据的传输时延,提高了进程间的数据传输效率,使得机器人操作系统中各项任务间实现实时通讯,为运动控制算法完成复杂的、高度解耦的运动控制奠定了基础。
  • 多用户进程互斥方法及装置-201611036534.5
  • 李春 - 广州视源电子科技股份有限公司;广州视睿电子科技有限公司
  • 2016-11-18 - 2019-12-17 - G06F9/52
  • 本发明涉及一种多用户进程互斥方法及装置,多用户进程互斥方法,包括以下步骤:在进程实例启动时,若检测到当前本地进程中无具名互斥锁,读取应用程序配置文件中的启动项配置信息;获取启动项配置信息中的启动项配置逻辑值;根据启动项配置逻辑值,判断当前本地进程中是否存在多用户运行;在判断的结果为否时,运行进程实例。本发明能够解决传统进程互斥锁无法满足多用户情况下的进程互斥的问题;通过本发明,可以有效的解决应用程序退出时可能会非正常退出或同一台电脑上也可能存在不同的程序,拥有相同的进程名等情况对多用户进程互斥方案的干扰。
  • 一种报文处理方法和装置-201910696222.4
  • 李飞;龙宇峰;刘思宇;王艳辉 - 视联动力信息技术股份有限公司
  • 2019-07-30 - 2019-12-10 - G06F9/52
  • 本发明实施例提供了一种报文处理方法及装置,所述方法应用于视联网中,包括:接收第一线程发送的写指令,判断写标志位数值和读标志位数值大小;若所述写标志位数值大于所述读标志位数值,将视联网报文数据写入无锁容器,并根据所述视联网报文数据的长度信息修改写标志位数值;接收第二线程发送的读指令,判断所述写标志位数值和所述读标志位数值大小;若所述写标志位数值大于所述读标志位数值,则根据所要读取的视联网报文数据的长度信息修改所述读标志位,并从所述无锁容器中读取所述报文数据,线程同步过程中,不需要加锁,不会触发阻塞,线程安全,克服了驱动模式下将视联网报文写入带锁的容器会触发阻塞导致操作系统蓝屏的缺陷。
  • 共享资源访问方法和装置-201611116940.2
  • 涂克东 - 金蝶软件(中国)有限公司
  • 2016-12-07 - 2019-12-10 - G06F9/52
  • 本发明涉及一种共享资源访问方法和装置,所述方法包括:获取业务处理请求,开始业务处理;当所述业务处理使用共享资源时,创建独立的内部事务调用所述共享资源;执行所述内部事务,并在所述内部事务完成时释放共享资源的资源锁;执行与所述内部事务对应的外部事务,所述外部事务使用所述内部事务的处理结果。该方法使得共享资源可以及时被使用,减少锁等待,从而减少系统资源的占用。
  • 数据处理方法及装置-201610846267.1
  • 牛虎 - 北京华泰德丰技术有限公司
  • 2016-09-23 - 2019-12-03 - G06F9/52
  • 本发明公开了一种数据处理方法及装置,属于计算机技术领域。所述方法包括:接收待处理的数据;根据待处理的数据在单一线程池中创建分配线程,单一线程池中最多有一个处于运行状态的分配线程;通过处于运行状态的分配线程在最大运行线程池中创建m1个处理线程;在最大运行线程池中通过处于运行状态的处理线程对数据进行处理,最大运行线程池中最多有m2个处于运行状态的处理线程。本发明通过单一线程池中最多有一个处于运行状态的分配线程,避免了多个处理线程需要访问同一个资源的情况,解决了线程死锁的问题;达到了合理利用计算资源,稳定地使用多处理线程机制来快速处理数据,从而提高系统的计算性能的效果。
  • 一种数据读取方法、装置及设备-201910760151.X
  • 肖计伟 - 苏州浪潮智能科技有限公司
  • 2019-08-16 - 2019-11-29 - G06F9/52
  • 本发明公开了一种数据读取方法,由于本发明中所有的单位存储空间均具有唯一对应的线程,且存在对应单位存储空间的线程数量最少为两个,则说明多个线程仅需从自身对应的单位存储空间内读取数据,无需轮询所有的单位存储空间,节省了时间,提高了工作效率。本发明还公开了一种数据读取装置及设备,具有如上数据读取方法相同的有益效果。
  • 一种命令处理的方法以及服务器-201510412831.4
  • 龚奕利;马文韬;施会华 - 华为技术有限公司;武汉大学
  • 2015-07-14 - 2019-11-29 - G06F9/52
  • 本发明实施例公开了一种命令处理的方法以及服务器,方法包括:服务器接收客户端发送的携带有目标命令的目标请求,目标命令对应一个目标上下文编号,并将当前时间作为目标请求的目标时间戳;将本地中与目标上下文编号对应的关联命令以及与目标命令对应的冲突命令添加至目标依赖集,并通过将目标请求转发至副本服务器以更新目标依赖集,并与副本服务器同步保存更新后的目标依赖集;根据目标上下文编号和目标时间戳、更新后的目标依赖集中的各个命令对应的上下文编号和时间戳,确定目标命令与更新后的目标依赖集中的各个命令的目标执行顺序,并根据目标执行顺序执行命令。采用本发明,可以在保证系统一致性的同时,降低系统延迟,减少系统复杂度。
  • 基于并行分子运动PSO的太阳辐射预测资料同化算法-201910647485.6
  • 童亚拉;杨晓艳;刘亚东;刘力源;董怡琦;余一冬;陈科 - 湖北工业大学
  • 2019-07-17 - 2019-11-22 - G06F9/52
  • 本发明公开了一种基于并行分子运动PSO的太阳辐射预测资料同化算法,包括步骤:一:初始化算法参数;二:初始化读写同步锁,根据分组数依次创建线程,并将算法参数,各分组粒子数和最大迭代次数分配给各个线程;三:分线程随机初始化组内粒子;四:计算资料同化代价函数;五:分组线程获取读写同步锁;六:更新全局最优解;七:分组线程释放读写同步锁;八:按分子运动论PSO算法更新粒子速度,更新粒子位置;九:判断该分组是否到达最大迭代次数,满足条件则结束该分组线程;十:等待各分组线程结束,输出结果。本发明在提高时效性的同时,通过粒子间交流的增强,维持同化精度。
  • 一种基于统一任务调度的数据处理方法及装置-201910583719.5
  • 胥磊;刘坤 - 苏宁云计算有限公司
  • 2019-06-28 - 2019-11-19 - G06F9/52
  • 本发明公开了一种基于统一任务调度的数据处理方法及装置,该方法包括:接收待处理数据,提取待处理数据的业务主键,将待处理数据以及业务主键存储于临时表中;统一调度任务定时从临时表中抽取若干待处理数据,将若干待处理数据存入与统一调度任务对应的redis订阅队列中;统一调度任务对redis订阅队列执行如下操作,直至redis订阅队列中的待处理数据全部处理完成:从redis订阅队列中每次抽取一条待处理数据,并根据业务主键获取共享锁;对抽取出的待处理数据进行处理,处理成功后释放共享锁,并将处理完成的待处理数据从临时表中移除。本发明通过采用redis的订阅队列和共享锁配合使用,避免高并发场景下数据并发覆盖问题和单条数据的重复处理问题。
  • 用于协商对共享音频或视觉资源的控制的系统和方法-201380068944.6
  • A·E·罗斯汀;E·S·李;G·R·查普曼 - 苹果公司
  • 2013-11-14 - 2019-11-19 - G06F9/52
  • 本发明公开了一种用于协商对共享音频或视觉资源的控制的系统和方法。在仲裁器处接收对共享音频或视觉资源的控制的请求。该仲裁器保持针对共享音频或视觉资源的所有权的现有状态信息和共享音频或视觉资源的所有权转换条件。从在嵌入式系统上执行的进程和在移动计算设备上执行的进程中的一者中接收请求。至少部分地基于对控制的请求和所有权转换条件来确定与共享音频或视觉资源的所有权有关的新的状态信息。该新的状态信息指示进程中的哪一个进程控制共享音频或视觉资源的输出。
  • 一种基于脚本控制的异地数据自动传输同步方法-201510555714.3
  • 张敏;杨东红;武方方;张丹涛;鹿雪玲;张敏;杨帆 - 中国航空工业第六一八研究所
  • 2015-09-02 - 2019-11-15 - G06F9/52
  • 本发明属于计算机控制领域,具体涉及一种基于脚本控制的异地数据自动传输同步方法。在实际的应用中合作的双方会使用不同的应用层程序,这样产生的数据类型将是多种多样的,需要人工手动地从不同的程序出口提取多种数据,这样人为的错误很容易发生,极易出现数据的丢失,导致数据同步的错误,致使合作项目无法顺利进行。本发明提供了一种基于脚本控制的异地数据自动传输同步方法,隔离应用层,实现底层数据自动传输、导入、导出的功能,解决地域、时差、权限引起的数据不能实时同步的问题,支撑了异地多站点协同开发及国际合作。
  • 用于数据缓存的方法和装置-201610363275.0
  • 张旭华;杨松;万韶华 - 北京小米移动软件有限公司
  • 2016-05-26 - 2019-11-15 - G06F9/52
  • 本公开是关于一种用于数据缓存的方法和装置,应用于服务器。所述方法包括:判断所述数据是否因对应的线程锁未解锁而未被存入缓存;在判定所述数据因所述对应的线程锁未解锁而未被存入所述缓存时,生成解锁指令;根据所述解锁指令将所述对应的线程锁进行解锁;将所述数据存入所述缓存。这样,由线程锁导致无法生效的数据缓存能够得到恢复,从而增强了服务性能,提升了用户体验。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top