[发明专利]一种数据分配方法、装置和计算设备

说明书

本发明公开了一种数据分配方法，适于将具有数据主键的多条数据分配给多个数据处理设备进行处理，该方法包括：将统计起始值和临时起始值设为初始值、统计终止值设为统计起始值加预设步长值、剩余数据量设为预设步长值；统计数据主键在统计起始值与统计终止值之间的数据条数；如果该数据条数不等于剩余数据量，则判断统计终止值是否小于数据主键最大值；若是，则将剩余数据量更新为剩余数据量与统计的数据条数之差、统计起始值更新为统计终止值加一、统计终止值更新为统计终止值加剩余数据量，并重新执行从统计步骤开始的步骤；反之则将临时起始值和统计终止值关联存储后发送给相应的数据处理设备。本发明还公开了对应的数据分配装置和计算设备。

技术领域

本发明涉及计算机及互联网技术领域，尤其涉及一种数据分配方法、装置和计算设备。

背景技术

随着社会经济的快速发展，社保卡已经日渐普及，社会保障卡上存有的供持卡人在医院就医结算的“个人账户”，社保系统需要定期对账户余额进行利息结算。但实际操作中，社保账号的基数非常大(如有1800万个左右)导致利息结算过程费事又费力。当数据表中已经存储上千万数据时，如果有阶段性处理全量数据的业务需求(比如每月的月报，季度性的计息等等)时，把庞大的数据量拆分成均等份，平均分给多个线程并行执行会提高整体的执行效率。

但社保数据通常采用具有可靠性、共享性、和保存持久性的Oracle数据库进行存储，但Oracle数据库的自增列是不连续的。传统的数据分割方法通常只能按照数值大小进行分割，如机械性地将1-100分为一组，101-200分为第二组等，而不考虑每组内到底有多少个数值。这种情况下有可能某几组的数据非常稀疏，导致数据分配不均，降低了多线程并行执行的效率。

发明内容

为此，本发明提供一种数据分配方法、装置和计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据分配方法，适于将第一数据存储器中存储的多条数据分配给多个数据处理设备进行处理，其中每条数据具有一数据主键，且所述多条数据的数据主键在整体上不连续，该方法包括：将统计起始值和临时起始值设置为初始值，将统计终止值设置为统计起始值加上预设步长值，将剩余数据量设置为预设步长值；统计第一数据存储器中数据主键在统计起始值与统计终止值之间的数据条数，并判断统计的数据条数是否等于剩余数据量，得到第一判断结果；当第一判断结果为是时，将临时起始值和统计终止值相关联的存储到第二数据存储器中，并将统计起始值更新为统计终止值加一，将统计终止值更新为统计终止值加预设步长值，将临时起始值更新为统计起始值，并重新执行从统计步骤开始的步骤；当第一判断结果为否时，判断统计终止值是否小于多条数据的数据主键的最大值，得到第二判断结果；当第二判断结果为是时，将剩余数据量更新为剩余数据量与统计的数据条数的差值，并将统计起始值更新为统计终止值加一，将统计终止值更新为统计终止值加剩余数据量，并重新执行从统计步骤开始的步骤；当第二判断结果为否时，将临时起始值和统计终止值相关联的存储到第二数据存储器中；以及将第二数据存储器中的各条数据发送给相应的数据处理设备，以供数据处理设备从第一数据存储器中获取对应的数据进行处理。

可选地，在根据本发明的方法中，所述数据处理设备从第一数据存储器中获取对应的数据进行处理的步骤包括：接收第二数据存储器发来的与该数据处理设备相对应的临时起始值与统计终止值；以及从第一数据存储器中获取该临时起始值和统计终止值之间的数据进行处理。

可选地，在根据本发明的方法中，初始值为0或1。