[发明专利]一种业务数据的处理方法和装置在审
| 申请号: | 202010131312.1 | 申请日: | 2020-02-28 |
| 公开(公告)号: | CN111367688A | 公开(公告)日: | 2020-07-03 |
| 发明(设计)人: | 吴武桓;孙瑞明;张磊 | 申请(专利权)人: | 京东数字科技控股有限公司 |
| 主分类号: | G06F9/54 | 分类号: | G06F9/54 |
| 代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 张丽颖;刘蔓莉 |
| 地址: | 100176 北京市大兴区北京经*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 业务 数据 处理 方法 装置 | ||
本申请涉及一种业务数据的处理方法和装置,其中,该方法包括:从业务模块中查询待业务模块处理的业务数据的数据信息;根据数据信息生成与业务数据一一对应的任务消息;将任务消息通过消息队列发送至业务模块,其中,任务消息用于指示业务模块对任务消息所对应的业务数据进行处理。本申请解决了相关技术中业务数据的处理效率较低的技术问题。
技术领域
本申请涉及计算机领域,尤其涉及一种业务数据的处理方法和装置。
背景技术
大部分任务系统处理海量数据是处理自有的任务数据,但某些场景需要任务系统定时触发分布式业务系统,由业务系统自身处理海量业务数据,业务系统需保证并发处理能力与数据最终正确性。例如,某些任务系统需要定时在月底去触发业务系统处理海量的业务数据,业务系统需要去保证业务处理的并发能力,还有数据最终的正确性。
任务系统定时通知分布式业务系统,业务系统处理对应的数据直到数据全部处理完成。在实现本发明过程中,发明人发现这种数据一般规模都比较庞大,会导致业务系统并发压力过大,可能会影响正常业务服务。因此可能会导致业务数据的处理效率的下降。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供了一种业务数据的处理方法和装置,以至少解决相关技术中业务数据的处理效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种业务数据的处理方法,包括:
从业务模块中查询待所述业务模块处理的业务数据的数据信息;
根据所述数据信息生成与所述业务数据一一对应的任务消息;
将所述任务消息通过消息队列发送至所述业务模块,其中,所述任务消息用于指示所述业务模块对所述任务消息所对应的所述业务数据进行处理。
可选地,所述数据信息包括所述业务数据的数据总量,其中,根据所述数据信息生成与所述业务数据一一对应的所述任务消息包括:
将所述数据总量划分为多个分页数据量;
创建所述多个分页数据量一一对应的多个分页任务;
通过所述多个分页任务中每个所述分页数据量对应的每个分页任务生成每个所述分页数据量的业务数据对应的所述任务消息。
可选地,通过所述多个分页任务中每个所述分页数据量对应的每个分页任务生成每个所述分页数据量的业务数据对应的所述任务消息包括:
通过所述每个分页任务向所述业务模块发送查询请求,其中,所述查询请求用于请求查询每个所述分页数据量的业务数据的数据信息;
接收所述业务模块响应所述查询请求返回的所述数据信息;
通过所述每个分页任务使用所述数据信息创建每个所述分页数据量的业务数据中每条数据的原子任务,得到所述每个分页任务所对应的每个所述分页数据量的原子任务,其中,原子任务是用于指示对所述每条数据进行处理的任务;
通过所述每个分页任务生成每个所述原子任务对应的所述任务消息,其中,所述任务消息用于指示对每个所述原子任务进行处理。
可选地,将所述任务消息通过消息队列发送至所述业务模块包括:
将所述任务消息发送至所述消息队列;
通过所述消息队列将所述任务消息转发至所述业务模块。
可选地,通过所述消息队列将所述任务消息转发至所述业务模块包括:
通过所述消息队列在目标时间段内随机将所述任务消息发送至所述业务模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东数字科技控股有限公司,未经京东数字科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010131312.1/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





