[发明专利]基于流处理框架文件管理方法以及系统

说明书

本说明书实施例提供基于流处理框架文件管理方法以及系统，其中所述基于流处理框架文件管理系统包括：数据库和基于流处理框架的文件管理模块，所述文件管理模块，被配置为确定基于流处理框架的待存储文件，其中，所述待存储文件中携带有初始文件存储目录；基于所述初始文件存储目录，在所述数据库中创建所述待存储文件的目标文件存储目录，并经由JDBC接口，将所述待存储文件存储至所述目标文件存储目录对应的存储位置，其中，所述数据库经由JDBC与所述文件管理模块通信连接，不需要额外引入重量级的维护程序来实现中心化存储，在本身拥有数据库的前提下大大节省了额外的部署成本和运维成本。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种基于流处理框架文件管理系统，一种基于流处理框架文件管理方法。

背景技术

Flink是大数据领域一个新兴的使用流式处理来模拟批量处理的框架，使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据，并且还可扩展到实时监控、实时报表和实时仓库等应用场景。在Flink架构下的文件读写场景，文件系统所产生的待存储文件等数据均需要进行中心化存储，而目前在Flink架构下实现中心化存储的方式，是需要额外部署和运维一些重量级的程序，这不仅会造成整个流处理框架的计算资源使用负担较重，还增加了额外的部署成本和运维成本。

发明内容

有鉴于此，本说明书实施例提供了一种基于流处理框架文件管理系统，一种基于流处理框架文件管理方法。本说明书一个或者多个实施例同时涉及一种基于流处理框架文件管理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种基于流处理框架文件管理系统，包括：数据库和基于流处理框架的文件管理模块，

所述文件管理模块，被配置为确定基于流处理框架的待存储文件，其中，所述待存储文件中携带有初始文件存储目录；基于所述初始文件存储目录，在所述数据库中创建所述待存储文件的目标文件存储目录，并经由JDBC接口，将所述待存储文件存储至所述目标文件存储目录对应的存储位置，其中，所述数据库经由JDBC与所述文件管理模块通信连接。

根据本说明书实施例的第二方面，提供了一种基于流处理框架文件管理方法，包括：

确定基于流处理框架的待存储文件，其中，所述待存储文件中携带有初始文件存储目录；

基于所述初始文件存储目录，在数据库中创建所述待存储文件的目标文件存储目录；

经由JDBC接口，将所述待存储文件存储至所述目标文件存储目录对应的存储位置，其中，所述数据库经由JDBC与所述文件管理模块通信连接。

根据本说明书实施例的第三方面，提供了一种基于流处理框架文件管理装置，包括：

文件确定模块，被配置为确定基于流处理框架的待存储文件，其中，所述待存储文件中携带有初始文件存储目录；

目录创建模块，被配置为基于所述初始文件存储目录，在数据库中创建所述待存储文件的目标文件存储目录；

文件存储模块，被配置为经由JDBC接口，将所述待存储文件存储至所述目标文件存储目录对应的存储位置，其中，所述数据库经由JDBC与所述文件管理模块通信连接。

根据本说明书实施例的第四方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述基于流处理框架文件管理方法的步骤。

根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述基于流处理框架文件管理方法的步骤。

根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述基于流处理框架文件管理方法的步骤。