[发明专利]高频热点数据处理系统及方法

说明书

一种高频热点数据处理系统及方法，具体包含：数据发起模块用于接收用户发出的账务处理请求；高频判断模块用于将账务处理请求与预定阈值比较，根据比较结果确认账务处理请求是否为高频请求；系统调度模块用于当账务处理请求为高频请求时，将账务处理请求移交至高频数据处理模块；以及，当账务处理请求不为高频请求时，将账务处理请求移交至原生数据处理系统；高频数据处理模块用于通过数据分布处理获得多个不同区间段的子表，其中子表中包含多条记录；以及判断接收到的账务处理请求类型，根据账务处理请求类型对子表或记录进行处理；原生数据处理系统用于对接收到的账务处理请求进行预设处理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种针对热点数据进行高频访问和更新的高频热点数据处理系统及方法。

背景技术

目前，许多数据处理系统中数据更新需要根据“基准值”(如账户余额)来判断。随着互联网业务的爆炸性发展，这种数据更新模式容易导致数据热点问题。当热点事件发生时，如热门纪念币发行，采用网上预约抢购方式，每次预约过程需要先访问纪念币库存剩余量，预约成功后需要再更新纪念币库存，由于预约时间相对比较集中，就会发生高并发数据请求，对纪念币库存判断和更新都面临锁等待，纪念币库存量即为“热点数据”，对热点数据的访问和更新，会严重影响整个系统数据处理系统的性能。

发明内容

本发明目的在于提供一种高频热点数据处理系统及方法，能够在不对原生数据处理系统做较大改变的基础上，通过将额度记录分成一系列不同区间段的子表，在每个子表中有若干条记录，并创新一种新模式的额度动态分配和归整策略，实现热点数据的分布处理，解决了热点数据锁瓶颈，提高了系统的并发处理能力。

为达上述目的，本发明所提供的高频热点数据处理系统，具体包含数据发起模块、原生数据处理系统、高频判断模块、系统调度模块和高频数据处理模块；所述数据发起模块用于接收用户发出的账务处理请求；所述高频判断模块用于将所述账务处理请求与预定阈值比较，根据比较结果确认所述账务处理请求是否为高频请求；所述系统调度模块用于当所述账务处理请求为高频请求时，将所述账务处理请求移交至所述高频数据处理模块；以及，当所述账务处理请求不为高频请求时，将所述账务处理请求移交至所述原生数据处理系统；所述高频数据处理模块用于通过数据分布处理获得多个不同区间段的子表，其中所述子表中包含多条记录；以及判断接收到的所述账务处理请求类型，根据所述账务处理请求类型对所述子表或所述记录进行处理；所述原生数据处理系统用于对接收到的所述账务处理请求进行预设处理。

在上述高频热点数据处理系统中，优选的，所述高频数据处理模块包含收入处理模块和支付处理模块；所述收入处理模块用于当所述账务处理请求类型为输入数据时，根据所述账务处理请求中数据值所处区间获得对应子表，将所述账务处理请求中数据记录插入至所述子表中，完成数据收入；所述支付处理模块用于当所述账务处理请求类型为输出数据时，通过数据匹配算法获得所述账务处理请求对应的记录，根据所述记录完成所述账务处理请求的输出操作，完成数据支付。

在上述高频热点数据处理系统中，优选的，所述高频数据处理模块包含数据处理模块，所述数据处理模块包含热点数据初始化单元和数据拆分单元；所述热点数据初始化单元用于将所述账务处理请求中交易额度的数据值分为多个对应不同区间的子表；所述数据拆分单元用于当所述账务处理请求类型为输入数据时，将插入所述子表的数据记录中高于预定阈值的记录拆分为多个子记录，将多个子记录插入所述子表并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理系统中，优选的，所述数据处理模块还包含数据汇集单元；所述数据汇集单元用于当所述账务处理请求类型为输出数据且未发现对应于所述账务处理请求的记录时，将适合所述账务处理请求的子表中多个子记录汇集为与所述账务处理请求对应的记录，并修改所述记录及所述子记录的使用标识。

在上述高频热点数据处理系统中，优选的，所述数据处理模块还包含数据清理单元，所述数据清理单元用于按预定周期清理包含有预定标识的所述记录和/或所述子记录。