[发明专利]一种数据并行处理的方法及服务器

说明书

本发明公开了一种数据并行处理的方法及服务器，其中，所述方法包括：从数据库中加载第一数据到内存中，所述第一数据为对应当前第一时刻的最新数据；当检测到所述数据库出现数据处理阻塞时，从所述内存中读取第二数据，所述第二数据为对应上一个第二时刻的旧数据；根据所述第二数据进行计费处理，得到待提交给所述数据库的待提交数据，将所述待提交数据放到缓冲区；根据从所述缓冲区不断读取得到的所述待提交数据进行数据库的异步持久化处理。

技术领域

本发明涉及数据处理技术，尤其涉及一种数据并行处理的方法及服务器。

背景技术

数据处理中，最简单的处理逻辑通常是顺序执行的，比如，有a、b、c三个步骤，其处理逻辑为先执行步骤a，再执行步骤b，最后执行步骤c。然而，顺序执行的处理逻辑看似简单，但是在实际应用中存在各种问题，比如，读写场景中，写入和读取按照顺序串行处理，效率低下。又如，以计费业务处理操作为例，每次处理计费任务时，1)首先进行数据加载，比如会从数据库里加载信息推荐方(如广告主)的余额数据和与信息推荐相关的预算和消耗等信息到内存中，以用于后续的计费处理。2)通过计费处理得到实际的消耗。3)执行计费处理后，进行数据库持久化操作，更新数据库中的余额数据和消耗数据。

可见，上述操作是串行执行的，1)-3)中前一个步骤未执行完，后一个步骤无法进行，而随着业务的进一步发展，需要处理的数据越来越多，这将会导致数据加载和进行数据库持久化操作的时间越来越长。另外，有些需要处理的数据是前台和后台共用的，如果前台的数据库并发访问量大，就会导致数据库的读写操作被阻塞住，进而影响到整个计费业务处理的正常执行，不仅处理效率低下，而且还会影响计费处理的准确率。然而，相关技术中，对于该问题，尚无有效解决方案。

发明内容

有鉴于此，本发明实施例提供了一种数据并行处理的方法及服务器，至少解决了现有技术存在的问题。

本发明实施例的技术方案是这样实现的：

本发明实施例的一种数据并行处理的方法，所述方法包括：

从数据库中加载第一数据到内存中，所述第一数据为对应当前第一时刻的最新数据；

当检测到所述数据库出现数据处理阻塞时，从所述内存中读取第二数据，所述第二数据为对应上一个第二时刻的旧数据；

根据所述第二数据进行计费处理，得到待提交给所述数据库的待提交数据，将所述待提交数据放到缓冲区；

根据从所述缓冲区不断读取得到的所述待提交数据进行数据库的异步持久化处理。

上述方案中，所述方法还包括：

从所述数据库中加载至少两类数据到内存中；

所述至少两类数据包括：预算数据和消耗数据；

所述预算数据用于表征由终端用户写入的符合预期业务需求的数据类型；

所述消耗数据用于表征与所述预算数据相关消耗的数据类型。

上述方案中，所述方法还包括：

通过所述计费处理线程对所述消耗数据进行维护时，从所述内存中读取当前时刻之前的第一消耗数据、当前时刻的第二消耗数据、对应所述缓冲区内待提交数据块的第三消耗数据；

将所述第一消耗数据依次加上所述第三消耗数据和所述第二消耗数据进行校验。

上述方案中，所述方法还包括：

将所述待提交数据放到缓冲区后，通过所述计费处理线程对以异步方式获取到的所述预算数据进行计费，得到实际的消耗数据。

上述方案中，所述方法还包括：