[发明专利]数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置。其中，该方法包括：获取并发请求，其中，并发请求中携带有预定数量的批处理子任务，批处理子任务包括一个或多个关联要素；获取并发请求中每个批处理子任务对应的处理信息；基于每个批处理子任务对应的处理信息确定并发请求的执行状态；在执行状态表示并发请求中的每个请求均成功处理时，则将并发请求的处理结果持久化到预定位置。本发明解决了相关技术中通过直接或间接的方式进行数据处理，依赖于数据库或配置文件本身的处理或优化，过度依赖于IO的操作，可靠性较低的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

相关技术中，软件相关业务场景越来越多，软件系统越来越复杂，需要持久化的数据结果越来越多。在一些行业或社会场所的应用场景中，需要实现并行以一次性请求提交的方式来提交多个数据的业务或多个批处理子任务，而整个请求的返回结果必须以批处理子任务处理结果全部成功，即本次请求成功；或者当其中任意一个批处理子任务失败，即，本次整个请求以失败的结果返回，该类业务或流程在实际实现时，往往比较困难；原因在于：(1)一次请求中包含的若干个批处理子任务，需要同时成功时才能认定为本次请求成功，而即使有一个批处理子任务失败，那么也必须认定本次请求为失败，这种请求对数据一致性要求极高；(2)后续的不断并发请求中，请求中有可能存在某个或者某些批处理子任务中涉及到的要素与前一次请求中涉及到的要素相同，而如果直接处理后续的请求，那么前面的处理结果因为存在相同要素的原因，会导致后续的请求中的某要素被占用，而前面的请求又反而无法正常处理；(3)更复杂的场景还有不断请求导致的大量的前面请求或者该请求中的批处理子任务得不到及时的处理，相同的要素被占用越来越多，效率越来越低，甚至导致死锁及系统级的整个瘫痪等问题。

针对上述问题，目前，行业或市场上面对以上的“需要并行一次性以成功或者失败的方式提交数据处理结果到配置文件或者数据库中”的处理方法没有较为完美的方法。以前一般采取单一提交，单一处理，然后判断结果是否成功，再执行下一次提交，再次进行判断，整体以这样的轮巡方式来处理，以得到当次所有事件提交全部成功或者全部失败的结果，这类处理办法虽然能够解决此类场景的部分问题，但是却会经常导致死锁或系统瘫痪问题，且效率低下，一个简单的请求耗时也非常之大。而近来各行业或技术也尝试实现了诸如柔性事务(Try-Confirm-Cancel，简称TCC)等事务性提交方法来尝试解决此类问题，但这些方法往往又实现复杂，或者因为与数据库和配置文件的频繁IO交互也导致了大量的性能瓶颈问题，且对原有整个系统的改造和侵入性影响都较大，实现困难且不能有效的解决此类问题。

另外，相关技术中还提供了通过接收行读取请求并且确定该行被版本化来操作。例如，确定在事务控制块中存在用于与所述行相关联的行销毁事务的第一时间戳信息，并且从事务控制块检索第一时间戳信息；以及，使用DVCC技术减少寻找版本的时间，同时将NVM中的日志作为新版本的方法，有效地减少了写操作次数。

然而，上述方案一中利用用于为读取者-写入者提供对事务提交状态的访问的事务控制块的方法，方案二中提供了一种可扩展的持久性事务内存及其工作方法，以上的方案基本上不能够彻底解决以上的行业场景现状，例如：1).基本上都是着眼于从数据侧面来解决，在实现上一般都是直接或间接依赖于数据库或配置文件本身的处理或优化，此类处理方法因为过度依赖于IO的操作，从而大大增加了IO的开销，IO是当今各类系统或应用的瓶颈，因此使得性能低下；2).通过尝试提交或通知提交的方式处理此类场景，虽然能在一定程度上能解决该类场景问题，但面对复杂的业务场景上基本上难以做到，且本身实现复杂度高，出现异常时也难以处理，且针对这类场景也不能够进行较为完整的处理。

针对上述相关技术中通过直接或间接的方式进行数据处理，依赖于数据库或配置文件本身的处理或优化，过度依赖于IO的操作，可靠性较低的问题，目前尚未提出有效的解决方案。

发明内容