[发明专利]多类型文件集中管理方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术，揭露了一种多类型文件集中管理方法，包括：利用多端口数据传输通道，提取各个目标平台的多类型文件集；在元数据缓存中构建数据暂存区，对多类型文件集进行数据流重定向至数据暂存区中；构建镜像容器集合，并根据预设的多类型文件处理环境参数，对镜像容器集合中各个容器进行环境配置；根据预设的文件管理策略，利用数据暂存区中的异步线程池模型，使得镜像容器集合对多类型文件集进行异步线程管理，得到多类型文件集的管理结果。本发明还提出一种多类型文件集中管理装置、电子设备以及存储介质。本发明可以提高管理不同类型文件的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多类型文件集中管理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据化时代的发展，各行各业都更加注重对数据的把控，例如，政府机构、医院或其他大型企业往往需要对旗下大量的小平台、小部门的数据进行统一整合，通过实现数据的“一站式”管理，来增加各业务部门协调、管理效率。

除预先设定各部门之间文件类型，能够实现方便管控数据外，较多大部门或大企业间无法进行文件类型统一，使得大企业、部门间拥有的文件类型更为独立与繁杂，造成如政府平台的“人才一站式服务系统”等更上层平台在对数据进行“一站式”管控时的整体数据管控效率一直处于较低水平。

发明内容

本发明提供一种多类型文件集中管理方法、装置及计算机可读存储介质，其主要目的在于解决进行一站式管理不同类型文件时数据管控效率较低的问题。

为实现上述目的，本发明提供的一种多类型文件集中管理方法，包括：

利用预构建的多端口数据传输通道，提取各个目标平台的多类型文件集；

在预设的元数据缓存中构建数据暂存区，对所述多类型文件集进行数据流重定向至所述数据暂存区中；

构建镜像容器集合，并根据预设的多类型文件处理环境参数，对所述镜像容器集合中各个容器进行环境配置；

根据预设的文件管理策略，利用所述数据暂存区中预设的异步线程池模型，使得所述镜像容器集合对所述多类型文件集进行异步线程管理，得到所述多类型文件集的管理结果。

可选的，所述对所述多类型文件集进行数据流重定向至所述数据暂存区中，包括：

当接收到所述各个目标文件时，根据预设埋点，提取所述多类型文件集的文件流；

根据所述数据暂存区的存储地址，利用标准输入输出头文件包中的重定向函数，将各个所述文件流中的目的地字段参数修改为所述存储地址，得到各个重定向文件流；

根据所述各个重定向文件流及预构建的缓存策略，将所述多类型文件集中各个目标文件转移至所述数据暂存区。

可选的，所述根据所述各个重定向文件流及预构建的缓存策略，将所述多类型文件集中各个目标文件转移至所述数据暂存区，包括：

判断所述数据暂存区中可存储资源的空间大小是否小于预设阈值；

当所述可存储资源的空间大于所述预设阈值，判定所述可存储资源的空间大小充足；

当所述可存储资源的空间等于或小于所述预设阈值，判定所述可存储资源的空间大小不足，利用最久未使用算法对所述数据暂存区进行空间释放；

判断所述多类型文件集中各个目标文件是否为初次提取；

若所述多类型文件集中各个目标文件为初次提取，在所述数据暂存区中构建索引目录，并将所述各个目标文件存储至所述索引目录中；

若所述多类型文件集中各个目标文件为非初次提取，查询所述各个目标文件对应的索引目录，并利用所述各个目标文件更新所述索引目录下的各个文件。