[发明专利]金融数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种金融数据处理方法、装置、设备及计算机可读存储介质，该方法包括：若接收到针对目标账户的数据处理请求，获取所述目标账户的待处理数据；基于所述待处理数据，在与所述数据处理请求对应的分布式计算框架中确定计算节点的数量；将根据所述待处理数据生成的多个任务实例分别分配至多个所述计算节点，并启动多个所述计算节点并行计算，计算后得到与所述数据处理请求对应的处理结果。本发明提升了金融机构在处理海量金融数据时的核算速度，满足了业务端对金融数据处理的高时效性需求。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种金融数据处理方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的计算机技术(如人工智能、区块链、云计算)被应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变；在金融科技中，存在大量的金融数据处理的场景，例如，金融机构为了实现核算业务资金成本或收益等目的，需要进行内部资金转移定价(FTP，Funds Transfer Pricing)，对于资产业务，FTP价格代表其资金成本，需要支付FTP利息；对于负债业务，FTP代表其资金收益，可以从中获取FTP利息收入；目前，在金融数据量越来越庞大的情况下，金融机构在对海量金融数据进行处理时，例如进行内部资金转移定价时，存在核算速度慢，无法满足业务端对金融数据处理的高时效性需求的问题。

发明内容

本发明的主要目的在于提供一种金融数据处理方法、装置、设备及计算机可读存储介质，旨在解决在金融数据量越来越庞大的情况下，金融机构在对海量金融数据进行处理时核算速度慢、无法满足业务端对金融数据处理的高时效性需求的问题。

为实现上述目的，本发明提供一种金融数据处理方法，所述金融数据处理方法包括以下步骤：

若接收到针对目标账户的数据处理请求，获取所述目标账户的待处理数据；

基于所述待处理数据，在与所述数据处理请求对应的分布式计算框架中确定计算节点的数量；

将根据所述待处理数据生成的多个任务实例分别分配至多个所述计算节点，并启动多个所述计算节点并行计算，计算后得到与所述数据处理请求对应的处理结果。

可选地，所述若接收到针对目标账户的数据处理请求，获取所述目标账户的待处理数据的步骤包括：

若接收到针对目标账户的数据处理请求，获取所述目标账户对应的数据仓库工具Hive表；

基于预设的访问方式，访问所述Hive表对应的Hadoop分布式文件系统HDFS文件，获取所述目标账户的待处理数据。

可选地，所述基于预设的访问方式，访问所述Hive表对应的HDFS文件，获取所述目标账户的待处理数据的步骤包括：

根据所述Hive表对应的HDFS文件，确定与所述HDFS文件对应的访问进程的数量；

基于确定的若干个所述访问进程，访问所述HDFS文件以获取所述目标账户的待处理数据。

可选地，所述基于所述待处理数据，在与所述数据处理请求对应的分布式计算框架中确定计算节点的数量的步骤包括：

获取所述待处理数据的目标数据量；

根据所述数据处理请求的类型，在与所述数据处理请求对应的分布式计算框架中设置每个计算节点的计算数据量阈值；

根据所述目标数据量和所述计算数据量阈值，确定与所述待处理数据对应的所述计算节点的数量。

可选地，所述将根据所述待处理数据生成的多个任务实例分别分配至多个所述计算节点，并启动多个所述计算节点并行计算，计算后得到与所述数据处理请求对应的处理结果的步骤包括：