[发明专利]文件存储方法和装置、电子设备、程序和介质

说明书

本发明实施例公开了一种文件存储方法和装置、电子设备、程序和介质，其中，方法包括：响应于接收到写请求，服务器上的至少一个第一进程将所述写请求中的小文件存储在所述进程的缓冲区内，确定所述小文件的索引；其中，所述小文件的索引包括：所述小文件所在分块文件的分块文件标识、以及所在节的节标识和节内偏移量；响应于满足所述缓冲区中数据的写入条件，所述第一进程将所述缓冲区中的数据追加写入到网络附属存储器中的一个分块文件中。本发明实施例实现了小文件的合并存储，可以优化存储性能、进行分布式扩展。

技术领域

本发明涉及数据处理技术，尤其是一种文件存储方法和装置、电子设备、程序和介质。

背景技术

存储模块是一个应用系统中负责数据保存与访问的模块。在智能监控领域，高效且安全地存储历史数据是整个应用系统正常运行的必要前提。

存储模块通常由硬件与软件两部分组成。其中，硬件部分即实际存储数据的物理设备，例如机械硬盘、固态硬盘等；软件部分则是给应用系统提供数据存储接口的系统，例如文件系统、数据库等。根据实际应用需求进行软件与硬件选型是设计存储模块的关键。

发明内容

本发明实施例提供一种文件存储技术方案。

根据本发明实施例的一个方面，提供的一种文件存储方法，包括：

响应于接收到写请求，服务器上的至少一个第一进程将所述写请求中的小文件存储在所述第一进程的缓冲区内，确定所述小文件的索引；其中，所述小文件的索引包括：所述小文件所在分块文件的分块文件标识、以及所在节的节标识和节内偏移量；

响应于满足所述缓冲区中数据的写入条件，所述第一进程将所述缓冲区中的数据写入到网络附属存储器中的一个分块文件中。

可选地，在本发明上述各方法实施例中，所述满足所述缓冲区中数据的写入条件，所述第一进程将所述缓冲区中的数据写入到网络附属存储器中的一个分块文件中，包括：

响应于所述缓冲区中的数据量达到一个节的大小，所述第一进程将所述缓冲区中的数据作为一个节，追加写入到网络附属存储器中的一个分块文件中；和/或

响应于所述缓冲区中的数据在所述缓冲区中的最长保存时间达到预设时长阈值，所述第一进程将所述缓冲区中的数据追加写入到网络附属存储器中的一个分块文件中。

可选地，在本发明上述各方法实施例中，所述服务器包括至少一个，每个服务器上运行有至少一个进程；所述网络附属存储器挂载到所述至少一个服务器上；

所述方法还包括：

响应于接收到第一应用发送的写请求，负载均衡器将所述写请求分发给至少一个服务器上的至少一个所述第一进程。

可选地，在本发明上述各方法实施例中，所述缓冲区的大小为一个节的大小，或者所述缓冲区的大小大于一个节的大小。

可选地，在本发明上述各方法实施例中，将所述写请求中的小文件存储在所述第一进程的缓冲区内，包括：

将所述小文件的二进制内容、元信息和校验码组合成一个数据包，存储在所述第一进程的缓冲区内。

可选地，在本发明上述各方法实施例中，将所述缓冲区中的数据写入到网络附属存储器中的一个分块文件中，包括：

将所述缓冲区内的所有数据包、统计信息和校验码追加写入到网络附属存储器中的一个分块文件中；所述统计信息包括：所述缓冲区内小文件的个数、所有二进制内容的大小。

可选地，在本发明上述各方法实施例中，所述小文件的索引还包括：所述小文件所在分块文件的日期。

可选地，在本发明上述各方法实施例中，将所述缓冲区中的数据写入到网络附属存储器中的一个分块文件中之前，还包括：