[发明专利]一种数据获取方法、装置、电子设备及存储介质

权利要求书

1.一种数据获取方法，其特征在于，包括：

确定训练数据集所需的数据存储空间与内存剩余空间的大小关系；

在所述数据存储空间大于所述内存剩余空间的情况下，根据预设策略，在所述训练数据集中选择至少一个文件为目标文件；

在所述目标文件首次被读取后，将所述目标文件保留在内核的页缓存中，以便将来再次读取所述目标文件时从所述内核的页缓存中获取所述目标文件。

2.根据权利要求1所述的方法，其特征在于，所述预设策略包括：

将所述训练数据集中文件大小小于第一阈值的文件作为所述目标文件；

或者，

根据所述训练数据集中各文件的文件大小以及所述内存剩余空间，确定所述目标文件，以使所述目标文件的数量大于第二阈值，和/或以使所述目标文件保留在内核的页缓存中后，所述内存剩余空间小于第三阈值。

3.根据权利要求1所述的方法，其特征在于，所述在所述目标文件首次被读取后，将所述目标文件保留在内核的页缓存中包括：

从所述训练数据集中读取第一文件；

确定所述第一文件是否为首次读取的所述目标文件；

在所述第一文件为首次读取的所述目标文件的情况下，为所述第一文件添加预设标记，以使虚拟文件系统VFS根据所述预设标记，将所述第一文件保留在内核的页缓存中。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标文件保留在内核的页缓存中之后，所述方法还包括：

接收从所述训练数据集中读取第二文件的指令；

在内核的页缓存中查找所述第二文件；

在查找到所述第二文件的情况下，从所述内核的页缓存中获取所述第二文件，以利用所述第二文件进行模型训练；

在未查找到所述第二文件的情况下，从远端服务器获取所述第二文件，以利用所述第二文件进行模型训练。

5.根据权利要求4所述的方法，其特征在于，还包括：

将所述训练数据集缓存在本地硬盘；

在未查找到所述第二文件的情况下，从本地硬盘获取所述第二文件，以利用所述第二文件进行模型训练。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述确定训练数据集所需的数据存储空间与内存剩余空间的大小关系之前，所述方法还包括：清空内存。

7.一种数据获取装置，其特征在于，包括：

确定单元，用于确定训练数据集所需的数据存储空间与内存剩余空间的大小关系；

选择单元，用于在所述数据存储空间大于所述内存剩余空间的情况下，根据预设策略，在所述训练数据集中选择至少一个文件为目标文件；

保留单元，用于在所述目标文件首次被读取后，将所述目标文件保留在内核的页缓存中，以便将来再次读取所述目标文件时从所述内核的页缓存中获取所述目标文件。

8.根据权利要求7所述的装置，其特征在于，所述预设策略包括：

将所述训练数据集中文件大小小于第一阈值的文件作为所述目标文件；

或者，

根据所述训练数据集中各文件的文件大小以及所述内存剩余空间，确定所述目标文件，以使所述目标文件的数量大于第二阈值，和/或以使所述目标文件保留在内核的页缓存中后，所述内存剩余空间小于第三阈值。

9.根据权利要求7所述的装置，其特征在于，所述保留单元包括：

读取模块，用于从所述训练数据集中读取第一文件；

确定模块，用于确定所述第一文件是否为首次读取的所述目标文件；

添加模块，用于在所述第一文件为首次读取的所述目标文件的情况下，为所述第一文件添加预设标记，以使虚拟文件系统VFS根据所述预设标记，将所述第一文件保留在内核的页缓存中。

10.根据权利要求7所述的装置，其特征在于，还包括：

接收单元，用于在将所述目标文件保留在内核的页缓存中之后，接收从所述训练数据集中读取第二文件的指令；

查找单元，用于在内核的页缓存中查找所述第二文件；

获取单元，用于在查找到所述第二文件的情况下，从所述内核的页缓存中获取所述第二文件，以利用所述第二文件进行模型训练；在未查找到所述第二文件的情况下，从远端服务器获取所述第二文件，以利用所述第二文件进行模型训练。