[发明专利]用于处理数据的方法和装置

说明书

本申请实施例公开了处理数据的方法和装置。该方法的一具体实施方式包括：获取待处理的至少一条数据；创建预定数量的队列，其中，每个队列对应一个过滤条件；将至少一条数据存储到每个队列中；对于预定数量的队列中的队列，从该队列中读取数据，根据该队列对应的过滤条件对读取出的数据进行标记。该实施方式实现了对过滤任务做并行处理，节省耗时。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于处理数据的方法和装置。

背景技术

目前许多金融领域数据的过滤(例如，资产证券化过滤)是采用按照协议分表策略，将固定金额的资产迁移到协议表中，然后根据协议的过滤条件对其数据表进行资产过滤，资产标记。

如果资产过滤不足的话，会启动资产调整程序将其他协议数据表中的资产调整资产到其协议数据表，直至过滤完成。会存在如下缺陷：1、任务串行执行，耗时时间长。2、资产分布不合理，很可能会造成资产不足，导致多次资产调整。3、资产调整是大量数据迁移的过程，并且包含数据物理删除，消耗性能。

发明内容

本申请实施例提出了处理数据的方法和装置。

第一方面，本申请实施例提供了一种处理数据的方法，包括：获取待处理的至少一条数据；创建预定数量的队列，其中，每个队列对应一个过滤条件；将至少一条数据存储到每个队列中；对于预定数量的队列中的队列，从该队列中读取数据，根据该队列对应的过滤条件对读取出的数据进行标记。

在一些实施例中，从该队列中读取数据，根据该队列对应的过滤条件对读取出的数据进行标记，包括：从该队列头部取出一条未加锁的数据；将未加锁的数据加锁；如果加锁后的数据满足该队列对应的过滤条件，则对加锁后的数据进行标记。

在一些实施例中，该方法还包括：如果加锁后的数据不满足该队列对应的过滤条件，则将加锁后的数据解锁后放回队列。

在一些实施例中，队列为双端队列；以及该方法还包括：对于预定数量的队列中的每个队列，若该队列中的数据被取空，则通过工作窃取算法从其它非空队列的尾部读取数据，根据该队列的过滤条件对读取出的数据进行标记。

在一些实施例中，数据包括金额；以及获取待处理的至少一条数据，包括：按金额由大到小的顺序获取待处理的至少一条数据。

在一些实施例中，该方法还包括：对于预定数量的队列中的队列，若该队列中满足该队列对应的过滤条件的数据所包括的金额之和达到预定数值，则删除该队列。

第二方面，本申请实施例提供了一种处理数据的装置，包括：获取单元，被配置成获取待处理的至少一条数据；创建单元，被配置成创建预定数量的队列，其中，每个队列对应一个过滤条件；存储单元，被配置成将至少一条数据存储到每个队列中；标记单元，被配置成对于预定数量的队列中的队列，从该队列中读取数据，根据该队列对应的过滤条件对读取出的数据进行标记。

在一些实施例中，标记单元进一步被配置成：从该队列头部取出一条未加锁的数据；将未加锁的数据加锁；如果加锁后的数据满足该队列对应的过滤条件，则对加锁后的数据进行标记。

在一些实施例中，该装置还包括释放单元，被配置成：如果加锁后的数据不满足该队列对应的过滤条件，则将加锁后的数据解锁后放回队列。

在一些实施例中，队列为双端队列；以及该装置还包括窃取单元，被配置成：对于预定数量的队列中的每个队列，若该队列中的数据被取空，则通过工作窃取算法从其它非空队列的尾部读取数据，根据该队列的过滤条件对读取出的数据进行标记。

在一些实施例中，数据包括金额；以及获取单元进一步被配置成：按金额由大到小的顺序获取待处理的至少一条数据。

在一些实施例中，该装置还包括删除单元，被配置成：对于预定数量的队列中的队列，若该队列中满足该队列对应的过滤条件的数据所包括的金额之和达到预定数值，则删除该队列。