[发明专利]数据的检测方法、装置、存储介质和电子装置

说明书

本发明公开了一种数据的检测方法、装置、存储介质和电子装置，其中，上述方法包括：扫描数据集群中至少一个用于存储数据的存储空间；依次读取存储空间的目录中每个文件的最近处理时间，其中，最近处理时间包括如下至少之一：文件的最近修改时间和最近访问时间；如果任意一个文件的最近处理时间与初始运行时间的差值超过阀值，则删除该文件的元数据信息，采用上述技术方案，解决了对数据进行检测的效率低的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据的检测方法、装置、存储介质和电子装置。

背景技术

目前，随着各种业务场景的增多，抽取转换加载(Extract-transform-load，简称为ETL)的任务越来越多，大数据集群的空间使用率已经超过百分之六十，名称节点(NameNode)压力也在逐渐增大，如果对其不及时进行清理，后续就需要扩充服务器以提供更多的存储空间，并且需要给Name Node分配更多的内存来缓解压力。

针对以上问题，大数据集群管理员可以手动通过Shell命令，挨个表去检查数据存储情况和数据使用情况，挨个检查完之后将检查结果汇总成表格(Excel)，再根据对应的数据库名和表名匹配上负责人(匹配负责人不准确)，然后通知到负责人进行处理，负责人处理完成后反馈给管理员，管理员进行核实。但是这种方式需要耗费大量的时间和精力，从而存在对数据进行检测的效率低的技术问题。

针对相关技术中，对数据进行检测的效率低的技术问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的检测方法、装置、存储介质和电子装置，以至少解决对数据进行检测的效率低的技术问题。

根据本发明实施例的一个实施例，提供了一种数据的检测方法。该方法可以包括：扫描数据集群中至少一个用于存储数据的存储空间；依次读取存储空间的目录中每个文件的最近处理时间，其中，最近处理时间包括如下至少之一：文件的最近修改时间和最近访问时间；如果任意一个文件的最近处理时间与初始运行时间的差值超过阀值，则删除该文件的元数据信息。

在一个示例性实施例中，在扫描数据集群中至少一个用于存储数据的存储空间时，获取存储空间内存储的数据数量；基于存储空间内存储的数据数量，确定存储空间的占用空间。

在一个示例性实施例中，在存储空间为数据表的情况下，其中，基于存储空间内存储的数据数量，确定存储空间的占用空间，包括：遍历数据表的内部表路径，并基于内部表路径确定数据表的层级；统计数据表的层级所对应的表级目录下的文件数量；基于表级目录下的文件数量，统计数据表的表级目录下的占用空间。

在一个示例性实施例中，如果任意一个文件的最近处理时间与初始运行时间的差值超过阀值，则确定用于保存文件的存储空间为无用区域，并触发提示信息给前端操作者。

在一个示例性实施例中，对无用区域进行标记，并查询元数据集合中是否存在与无用区域关联的元数据信息，如果存在，则执行删除无用区域所关联的元数据信息的步骤。

在一个示例性实施例中，在执行删除无用区域所关联的元数据信息的步骤之后，遍历元数据集合中未删除的文件的元数据信息，如果未删除的文件为存储空间的目录中不存在的文件，则继续判断该未删除的文件的元数据信息是否为需要删除的信息。

在一个示例性实施例中，在扫描任意一个存储空间完成之后，启动扫描其他存储空间，直至将预定时间段内存储的记录扫描完毕，并将该存储空间后续记录的缓存信息写入历史记录表中。

根据本发明实施例的另一个实施例，还提供了一种数据的检测装置。该装置可以包括：扫描单元，用于扫描数据集群中至少一个用于存储数据的存储空间；读取单元，用于依次读取存储空间的目录中每个文件的最近处理时间，其中，最近处理时间包括如下至少之一：文件的最近修改时间和最近访问时间；删除单元，用于在任意一个文件的最近处理时间与初始运行时间的差值超过阀值时，删除该文件的元数据信息。