[发明专利]数据处理方法及装置、电子设备和存储介质

说明书

本申请实施例提供一种数据处理方法及装置、电子设备和存储介质，该方法包括：在每个第一周期达到时，将每个第一周期内存入存储设备中的至少一个数据，读取至内存中；对读取至内存中的至少一个数据进行处理，获得待存储的文件，并将待存储的文件存入存储设备中，该文件包括一个标识信息；根据存储设备中所存储的各文件的标识信息，删除存储设备中的至少一个文件。即本申请将第一周期内的数据合并为一个文件，并为该文件设置标识信息。这样在后续的删除过程中，直接根据文件的标识信息删除文件，而无需多次读写操作，提高脏数据的删除效率，提高存储设备的使用寿命，不存在写放大，避免浪费存储空间。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据处理方法及装置、电子设备和存储介质。

背景技术

随着安全防范意识的增强，安防监控得到快速发展，在安防监控过程中会产生大量的视图特征数据，大量的视图特征数据的存储一直是安防领域研究的主要问题之一。目前视图特征数据采用轮转的方式进行存储，即存储设备中只存储最新一段时间内所产生的视图特征数据，最新一段时间之前所产生的视图特征数据为脏数据，需要从存储设备中删除，以释放存储空间。

目前安防领域通常采用基于日志结构合并树(log-structured merge tree，LSM-Tree)的存储系统来存储大量的视图特征数据。对于LSM-Tree而言，存储引擎中的文件是分层存储的，通过合并动作，从第i层和第i+1层选取若干文件，读入内存，对这些文件中的数据进行排序，以去除脏数据，然后将去除脏数据后的数据写入文件，放到第i+1层。

由此可知，LSM-Tree使用合并动作去除脏数据时，存在写放大，例如脏数据位于第N层时，要消除该脏数据需要进行N-1次读写操作，其效率低，影响存储设备的使用寿命，且存在写放大，浪费存储设备的存储空间。

发明内容

本申请实施例提供一种数据处理方法及装置、电子设备和存储介质，以向用户推送用户需要的软件信息。

第一方面，本申请实施例提供一种数据处理方法，包括：

在每个第一周期达到时，将每个第一周期内存入存储设备中的至少一个数据，读取至内存中；

对读取至内存中的至少一个数据进行处理，获得待存储的文件，并将待存储的文件存入存储设备中，文件包括标识信息；

根据存储设备中所存储的各文件的标识信息，删除存储设备中的至少一个文件。

可选的，上述标识信息为时间标识信息。

在第一方面的一种可能的实现方式中，根据存储设备中所存储的各文件的标识信息，删除存储设备中的至少一个文件，包括：根据存储设备中所存储的各文件的标识信息和第二周期，删除至少一个文件，其中第二周期大于第一周期。

在第一方面的一种可能的实现方式中，内存中存储有文件对应的索引，此时该方法还包括：从内存中移除至少一个文件的索引。

在第一方面的一种可能的实现方式中，该方法还包括：根据第一周期内存入存储设备中的数据量，以及存储设备的剩余空间大小，调整第二周期；

此时，上述根据存储设备中所存储的各文件的标识信息和第二周期，删除至少一个文件，包括：根据存储设备中所存储的各文件的标识信息和调整后的存储时长，删除至少一个文件。

在第一方面的一种可能的实现方式中，根据第一周期内存入存储设备中的数据量，以及存储设备的剩余空间大小，调整第二周期，包括：

在检测到第一预设数量个第一周期中，每个第一周期内存入存储设备中的数据量均小于第一预设值时，根据存储设备的剩余空间大小，增大第二周期；和/或，在检测到第二预设数量个第一周期中，每个第一周期内存入存储设备中的数据量均大于第二预设值时，根据存储设备的剩余空间大小，减小第二周期，其中第二预设值小于第一预设值。