[发明专利]基于翻页机制的数据处理方法及装置

说明书

本发明提供了一种基于翻页机制的数据处理方法及装置，涉及数据处理技术领域，该方法包括获取翻页参数和线程池参数；按照翻页参数读取数据库中的数据，得到多个分页数据；按照线程池参数，生成多个子线程；将多个分页数据发送至多个子线程，以使多个子线程并行处理多个分页数据。本发明以翻页机制分页读取数据到内存中，并把每个翻页的数据放入子线程中进行后续业务规则处理，可以缩短业务规则处理程序等待交易数据的时间，实现交易数据并行处理，从而缩短交易处理时间，提高系统运行效率。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种基于翻页机制的数据处理方法及装置。

背景技术

随着银行业务的不断发展，交易量呈现不断增长的趋势。在一些交易特殊时点，一些商家优惠活动时间段，交易数据量激增。这对于银行软件系统产品的后台处理性能提出了很强的技术要求。在银行产品后台批量处理百万级千万级以上交易数据时，经常需要从数据库中读取大量交易数据进行后续业务规则处理。若采用一次性把大量数据从数据库读取到内存中进行顺序处理的方式，其一内存会承受不了大数据，其二由于大数据量从数据库读取到内存时间过长而出现“假死”现象，导致后续业务规则处理程序等待交易数据时间过长，严重影响了批量运行时间，继而影响下游系统的正常运行乃至影响客户体验。

发明内容

本发明提供了一种基于翻页机制的数据处理方法及装置，可以提升从数据库读取大数据量到内存中时，系统的运行效率。

第一方面，本发明实施例提供了一种基于翻页机制的数据处理方法，该方法包括：获取翻页参数和线程池参数；按照所述翻页参数读取数据库中的数据，得到多个分页数据；按照所述线程池参数，生成多个子线程；将所述多个分页数据发送至所述多个子线程，以使所述多个子线程并行处理所述多个分页数据。

第二方面，本发明实施例还提供一种基于翻页机制的数据处理装置，该装置包括：获取模块，用于获取翻页参数和线程池参数；翻页模块，用于按照所述翻页参数读取数据库中的数据，得到多个分页数据；生成模块，用于按照所述线程池参数，生成多个子线程；处理模块，用于将所述多个分页数据发送至所述多个子线程，以使所述多个子线程并行处理所述多个分页数据。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于翻页机制的数据处理方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于翻页机制的数据处理方法的计算机程序。

本发明实施例带来了以下有益效果：本发明实施例提供了一种基于翻页机制的数据处理方案，该方案首先获取翻页参数和线程池参数，根据翻页参数读取数据库中的数据，数据被分到不同的翻页中，得到多个分页数据，根据线程池参数可以生成多个子线程，将分页数据放入子线程，并调起子线程，从而使多个子线程可以并行处理多个分页数据。本发明主线程负责以翻页机制分页读取数据到内存中，并把每个翻页的数据放入子线程中进行后续业务规则处理，可以缩短业务规则处理程序等待交易数据的时间，实现交易数据并行处理，从而缩短交易处理时间，提高系统运行效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。