[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，应用于深度学习模型的训练，其特征在于，包括：

对样本数据的预取数量进行第一更新处理，得到目标预取数量；

响应于预取样本数据队列中当前包括的样本数据的数量未达到所述目标预取数量，读取新的样本数据，并将读取的所述新的样本数据存储至所述预取样本数据队列中。

2.根据权利要求1所述的数据处理方法，其特征在于，所述对样本数据的预取数量进行第一更新处理，得到目标预取数量，包括：

根据所述预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，对样本数据的预取数量进行第一更新处理，得到目标预取数量。

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，对样本数据的预取数量进行第一更新处理，得到目标预取数量，包括：

根据所述预取样本数据队列当前占用的总内存空间、内存使用上限阈值、以及对所述深度学习模型进行训练的数据吞吐量，对样本数据的预取数量进行第一更新处理，得到所述目标预取数量。

4.根据权利要求2或3所述的数据处理方法，其特征在于，所述根据所述预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，对样本数据的预取数量进行第一更新处理，得到目标预取数量，包括：

在所述预取样本数据队列当前占用的总内存空间未达到所述内存使用上限阈值的情况下，将所述预取数量增大第一调节步长，得到所述目标预取数量；和/或

在所述预取样本数据队列当前占用的总内存空间达到所述内存使用上限阈值的情况下，将所述预取数量减小第二调节步长，得到所述目标预取数量。

5.根据权利要求4所述的数据处理方法，其特征在于，所述在所述预取样本数据队列当前占用的总内存空间未达到所述内存使用上限阈值的情况下，将所述预取数量增大第一调节步长，得到所述目标预取数量，包括：

在所述预取样本数据队列当前占用的总内存空间未达到所述内存使用上限阈值，且对所述深度学习模型进行训练的数据吞吐量满足预设数据吞吐量条件的情况下，将所述预取数量增大第一调节步长，得到所述目标预取数量。

6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：

在所述预取样本数据队列当前占用的总内存空间未达到所述内存使用上限阈值，且所述数据吞吐量未满足所述预设数据吞吐量条件的情况下，将所述预取数量减小第三调节步长，得到所述目标预取数量。

7.根据权利要求5或6所述的数据处理方法，其特征在于，所述预设数据吞吐量条件，包括下述至少一种：

所述数据吞吐量的当前数值大于历史数值，其中，所述历史数值为当前迭代之前的多个历史迭代训练的对应平均值或者为当前迭代训练的前一迭代训练的对应数值；

所述数据吞吐量的当前数值大于数据吞吐量阈值。

8.根据权利要求1至7中任一项所述的数据处理方法，其特征在于，所述方法还包括：

对所述预取数量的调节步长进行第二更新处理，得到目标调节步长，其中，所述目标调节步长用于所述预取数量的下一次更新处理。

9.根据权利要求8所述的数据处理方法，其特征在于，所述对所述预取数量的调节步长进行第二更新处理，得到目标调节步长，包括：

在所述第一更新处理中增大所述预取数量的情况下，增大所述预取数量的调节步长；和/或

在所述第一更新处理中减小所述预取数量的情况下，减小所述预取数量的调节步长。

10.一种数据处理装置，应用于深度学习模型的训练，其特征在于，包括：

第一更新模块，用于对样本数据的预取数量进行第一更新处理，得到目标预取数量；

读取模块，用于响应于预取样本数据队列中当前包括的样本数据的数量未达到所述目标预取数量，读取新的样本数据，并将读取的所述新的样本数据存储至所述预取样本数据队列中。