[发明专利]数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置。该数据处理方法包括：接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。根据本发明实施例的数据处理方法和装置，将任务失败数据进行分类，由与任务失败数据所属类别相对应的消费者进程处理任务失败数据，这样可以提高对任务失败数据的处理速度，避免任务失败数据长期留存在消息队列中，从而可以缓解消息队列的存储压力。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据处理方法和装置。

背景技术

随着计算机技术的飞速发展，在许多应用领域，存在越来越多的需要管理的数据，诸如用户信息数据、系统日志数据等。通常采用数据库对这些数据进行管理。在通过对数据库中的数据进行操作来完成某种任务时，如果操作失败的话会产生任务失败数据。例如，如果期望为某个用户增加经验值，则需要更新数据库中存储的该用户的经验值数据。在更新用户的经验值数据时，如果由于某些原因导致更新操作失败，也就是增加经验值的任务失败，则可以产生一条关于为该用户增加经验值的任务失败的记录，该记录即上述任务失败数据。通常将任务失败数据写入消息队列中，消费者会不断轮询该消息队列，从消息队列中取出并处理任务失败数据。正常情况下失败任务的数量比较少，但是在数据库出现故障，无法进行数据写入操作的情况下，会产生大量任务失败数据。大量的任务失败数据涌入消息队列会给消息队列带来巨大压力，很有可能导致消息队列崩溃。

发明内容

鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的数据处理方法和装置。

根据本发明一个方面，提供一种数据处理方法。该数据处理方法包括：接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。

根据本发明另一个方面，提供一种数据处理装置。该数据处理装置包括分类模块、存储模块和处理模块。分类模块用于接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务。存储模块用于将所述任务失败数据分别存储到与其所属类别相对应的消息队列中。处理模块用于利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据。

根据本发明实施例的数据处理方法和装置，将任务失败数据进行分类，由与任务失败数据所属类别相对应的消费者进程处理任务失败数据，这样可以提高对任务失败数据的处理速度，避免任务失败数据长期留存在消息队列中，从而可以缓解消息队列的存储压力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出根据本发明一个实施例的数据处理方法的流程示意图；

图2示出根据本发明另一个实施例的数据处理方法的流程示意图；

图3示出根据本发明另一个实施例的数据处理方法的流程示意图；

图4示出根据本发明另一个实施例的数据处理方法的流程示意图；以及

图5示出根据本发明一个实施例的数据处理装置的示意性框图。

具体实施方式