[发明专利]微服务体系下文件分布式写入、读取、处理机制及系统

说明书

本发明公开了一种微服务体系下文件分布式写入、读取、处理的机制及系统，处理机制包括微服务体系下文件分布式写入处理的机制以及与其配套的微服务体系下文件分布式读取处理的机制，包括：配置文件类型、业务分类相关信息；配置文件生成时机；进行数据分段，并生成校验文件；并行处理数据并生成文件，生成签名文件；文件共享；校验文件信息，并按文件为基本单元进行分段；并行处理每个文件，校验文件、解析处理文件；本发明中的微服务体系下文件分布式处理的机制及系统，可以根据业务场景配置文件类型，进行业务分布式处理后，以分布式的方式写入文件；文件的使用方根据业务分类分布式的处理文件；能大大提升系统文件处理的能力和安全性。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种微服务体系下文件分布式写入、读取、处理机制及系统。

背景技术

互联网金融业务的发展对银行IT系统的处理能力提出了更高的要求，传统巨大的单体应用(或粒度很粗的SOA服务)在可维护性、可扩展性、快速迭代等方面已无法满足业务发展的需求，微服务架构成为了行业发展的必然选择。选择合适的微服务批量交互和处理方式是微服务架构能够应对海量数据处理的互联网金融业务场景的关键技术。

但目前微服务间的交互主要有两种，一是通过某种实时通讯协议(如tcp/http等)直接调用另一个微服务，服务调用方收到响应具有很高的延迟，对双方系统都会造成极大的压力；服务间强耦合，无法真正解耦；二是通过单个文件的方式来处理微服务间的批量交互，这种处理方式会将原来可以并行处理的业务串行化，完全无法发挥微服务分布式处理的优势；并且文件中间若被篡改或者丢失，服务方无法感知，直接会导致业务风险。这就导致了微服务架构在银行业务发展过程中处理能力受限。

发明内容

本发明要解决的技术问题是提供一种微服务体系下文件分布式写入、读取、处理机制及系统，使其能提升系统文件处理的能力和安全性。

为解决上述技术问题，本发明采用如下技术方案：

一方面，本发明提供了一种微服务体系下文件分布式写入处理的机制，包括：

S110、根据业务需求配置文件类型、业务分类、单个文件记录数、文件名称及文件存放路径信息；

S120、配置文件生成时机；

S130、运行时获取待处理数据总数，并按配置的单个文件大小进行任务分段；记录文件总条数、总文件数到校验文件；

S140、按分段进行多个服务器多实例的并行文件写入处理，并生成签名文件,文件内容为文件记录数；

S150、文件共享给其他微服务。

作为本发明进一步地改进，所述S130中，分段是可以独立在多个微服务实例上执行的最小执行单元。

进一步地，所述S150中，文件通过NAS/NFS高速共享存储。

另一方面，本发明还提供了一种微服务体系下文件分布式读取处理的机制，所述读取处理的机制与上述微服务体系下文件分布式写入处理的机制配套，包括：

S210、根据业务分类获取文件类型及文件名称，按文件分类校验文件类型、文件个数、文件总记录与各文件记录数之和是否匹配；并按文件进行分段，分配给各个业务微服务执行实例；

S220、按分段进行多个服务器多实例的并行校验签名文件、校验文件记录数，通过后读取文件并处理。

再一方面，本发明还提供了一种微服务体系下文件分布式处理的机制，包括上述的微服务体系下文件分布式写入处理的机制以及微服务体系下文件分布式读取处理的机制。

另外，本发明还提供了一种微服务体系下文件分布式写入处理的系统，包括：