[发明专利]一种信用卡账户管理数据的批处理方法及系统

说明书

本发明涉及一种信用卡账户管理数据的批处理方法及系统，系统包括数据库模块、主任务模块、决策调用节点、决策引擎模块、Rabbit MQ消息队列模块和决策处置节点，数据库模块用于储存批处理数据，主任务模块用于将批处理数据进行数据切片处理，获取数据分片，决策调用节点用于获取每个数据分片对应的数据组装表，决策引擎模块用于获取决策响应报文，Rabbit MQ消息队列模块接收决策响应报文，并供决策处置节点获取决策响应报文，决策处置节点用于从Rabbit MQ消息队列异步获取决策响应报文，获取决策处理结果。与现有技术相比，本发明具有有效提高批处理的效率和稳定性，系统的性能能够进一步扩展，满足数据增长的需求。

技术领域

本发明涉及一种数据批处理领域，尤其是涉及一种信用卡账户管理数据的批处理方法及系统。

背景技术

信用卡账户管理系统每日进行超过300万客户的批量决策，需要将每个客户基本信息、账户信息、卡片信息、账单信息、人行征信等行内行外多种维度的信息进行组装，提交决策引擎进行调额、管制决策，并将决策结果以批量文件的方式下发给核心等系统，实现风险经营，现有的账管系统完全依赖于上游数据到位时间之后才能够进行批量处理，可以开始跑批操作的时间被限定于凌晨2点之后，并且决策之后还需要进行不同决策领域的PK，处置文件生成等操作，处理流程长且复杂，通过单一技术进行整个跑批处理是无法满足性能要求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种信用卡账户管理数据的批处理方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种信用卡账户管理数据的批处理方法，包括：

S1：获取批处理数据并集中储存；

S2：将批处理数据进行数据切片处理，获取多个数据分片；

S3：将数据分片送入决策调用节点，所述的决策调用节点根据数据分片中的数据获取每个数据分片对应的数据组装表；

S4：对数据组装表进行决策处理，获取决策响应报文；

S5：将决策响应报文送入Rabbit MQ消息队列；

S6：决策处置节点从Rabbit MQ消息队列异步获取决策响应报文，获取决策处理结果。

优选地，所述的S2具体步骤包括：根据预设的数据分片大小对批处理数据进行数据切片处理，获取多个数据分片，并为数据分片中每个客户数据建立唯一的客户标识符。

优选地，所述的S3的具体步骤包括：

S31：确认当前决策调用节点队列中计算任务最少的决策调用节点，将一个数据分片送入该计算任务最少的决策调用节点，重复步骤S31多次将所有数据分片送入决策调用节点；

S32：决策调用节点将每个数据切片中客户标识符相同的数据组装为该客户标识符对应的客户组装数据，每个数据切片中的客户组装数据组成该数据切片的数据组装表。

优选地，所述的S32中以Oracle嵌套表方式将客户标识符相同的数据组装为客户组装数据。

优选地，所述的方法还包括步骤S7：

获取决策调用节点中的决策数量和决策处理节点的决策处理数量，若数量不相同，进行数据丢失报错。

一种信用卡账户管理数据的批处理系统，所述的系统包括数据库模块、主任务模块、多个决策调用节点、决策引擎模块、Rabbit MQ消息队列模块和多个决策处置节点，

所述的数据库模块用于获取并储存批处理数据，

所述的主任务模块用于将批处理数据进行数据切片处理，获取多个数据分片，