[发明专利]一种数据访问方法、装置、设备和存储介质

说明书

本申请公开一种数据访问方法、装置、设备和存储介质，获取用于训练目标深度学习模型的训练数据集，根据训练数据集，确定目标索引文件，以基于索引对训练数据集中的每条训练数据进行随机访问。在此基础上，将对训练数据的随机排序等操作转化为对索引信息的操作，即在每轮对目标深度学习模型进行训练的过程中，随机打乱目标索引文件中索引信息的顺序，得到索引信息按照第二顺序排列的目标索引文件，按照第二顺序，从训练数据集中读取目标索引信息对应的目标训练数据输入目标深度学习模型进行该轮训练。从而使内存中仅需要存储体积较小的索引信息以及训练中每一步需要的少量训练数据，显著减少内存使用，并且能够保证训练数据读取的高效性。

技术领域

本申请涉及数据处理领域，特别是涉及一种数据访问方法、装置、设备和存储介质。

背景技术

近年来，深度学习技术取得了巨大进展，在自然语言处理、计算机视觉与语音识别等多个领域取得了接近甚至超过人类的表现。训练精度高、效果好的深度学习模型离不开海量的训练数据。

目前，深度学习模型主要基于随机梯度下降算法进行训练。在大多数模型训练场景中，需要首先将整个训练数据集读取到内存中，之后在每一轮训练前将训练数据集中的训练数据随机打乱，并在打乱后的训练数据集中依次读取一小部分训练数据输入模型中。

但随着模型训练使用的数据规模越来越大，这一做法逐渐变得不可行，因为多达几十甚至几百GB以上的训练数据很可能无法完全加载至内存中。此外，模型训练的每一步中实际仅用到整个训练数据集的一小部分，使得内存有效利用率很低，浪费了大量内存资源。

发明内容

为了解决上述技术问题，本申请提供了一种数据访问方法、装置、设备和存储介质，保证每轮训练读取部分需要的数据，避免因加载整个训练数据集而造成大量内存资源浪费。通过每轮训练随机打乱目标索引文件中索引信息的顺序，实现基于索引对训练数据集中的每条训练数据进行随机访问，并在这一基础上，可以将对训练数据的随机排序等操作转化为对索引信息的操作，从而使内存中仅需要存储体积较小的索引信息以及训练中每一步需要的少量训练数据，与加载整个训练数据集相比显著减少内存使用，并且能够保证训练数据读取的高效性。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种数据访问方法，所述方法包括：

获取用于训练目标深度学习模型的训练数据集；

根据所述训练数据集，确定目标索引文件，所述目标索引文件按照第一顺序记录所述训练数据集中每条训练数据的索引信息，所述索引信息表示训练数据在所述训练数据集中的位置；

在每轮对所述目标深度学习模型进行训练的过程中，随机打乱所述目标索引文件中所述索引信息的顺序，得到所述索引信息按照第二顺序排列的目标索引文件，所述第一顺序与所述第二顺序不同；

按照所述第二顺序，从目标索引文件确定属于同一读取批次的目标索引信息；

针对每一读取批次，从所述训练数据集中读取所述目标索引信息对应的目标训练数据输入所述目标深度学习模型，以对所述目标深度学习模型进行该轮训练。

第二方面，本申请实施例提供一种数据访问装置，所述装置包括获取单元、确定单元、打乱单元和读取单元：

所述获取单元，用于获取用于训练目标深度学习模型的训练数据集；

所述确定单元，用于根据所述训练数据集，确定目标索引文件，所述目标索引文件按照第一顺序记录所述训练数据集中每条训练数据的索引信息，所述索引信息表示训练数据在所述训练数据集中的位置；

所述打乱单元，用于在每轮对所述目标深度学习模型进行训练的过程中，随机打乱所述目标索引文件中所述索引信息的顺序，得到所述索引信息按照第二顺序排列的目标索引文件，所述第一顺序与所述第二顺序不同；