[发明专利]一种数据处理方法及装置

说明书

本公开提供了一种数据处理方法及装置，用于深度学习模型的训练，该方法包括：对样本数据的预取数量进行第一更新处理，得到目标预取数量；响应于预取样本数据队列中当前包括的样本数据的数量未达到所述目标预取数量，读取新的样本数据，并将读取的所述新的样本数据存储至所述预取样本数据队列中。本公开实施例通过对预取的样本数据的数量的动态更新，可以保证在数据队列中，一直会存储有足够数量的样本数据来满足后续几个迭代训练的使用，即使主进程对某个样本数据的读取时间过久，也不会造成由于样本数量未及时读取而导致的迭代训练发生延误，进而提升了训练效率。

技术领域

本公开涉及机器学习技术领域，具体而言，涉及一种数据处理方法、装置以及系统。

背景技术

深度学习模型需要基于大量样本数据来进行多轮迭代训练。为了提升机器学习模型在训练过程中的收敛速度，通常采用多进程并行训练的方式来实现。在采用多进程并行训练的方式对深度学习模型进行每一轮训练中，各个并行的进程都会预先读取下一轮训练时所需要的训练数据，并基于上一轮训练预先读取的训练数据来执行计算任务。但由于各个并行的进程在执行完该轮训练后，所有进程之间需要进行通信和数据同步，若某个进程读取下一轮训练所用训练数据的速度过慢，就会导致整个训练进程被拖延，进而导致训练效率的下降。

发明内容

本公开实施例至少提供一种数据处理方法及装置。

第一方面，本公开实施例提供一种数据处理方法，应用于深度学习模型的训练，包括：对样本数据的预取数量进行第一更新处理，得到目标预取数量；响应于预取样本数据队列中当前包括的样本数据的数量未达到所述目标预取数量，读取新的样本数据，并将读取的所述新的样本数据存储至所述预取样本数据队列中。

这样，由于主进程会对预取数量进行第一更新处理，以得到目标预取数量，并在数据队列中当前包括的样本数据量未达到目标预取数量时，从样本数据池中读取新的样本数据；因而，主进程能够在执行完一次迭代训练后，其下一迭代训练所需要用到的样本数据已经完成了读取；而实际上在大多数情况下，主进程读取数据所需要耗费的时间往往少于其执行一个迭代训练所需要用到的时间，因此可以保证在数据队列中，一直会存储有足够数量的样本数据来满足后续几个迭代训练的使用，即使主进程对某个样本数据的读取时间过久，也不会造成由于样本数量未及时读取而导致的迭代训练发生延误，进而提升了训练效率。

一种可能的实施方式中，所述对样本数据的预取数量进行第一更新处理，得到目标预取数量，包括：根据所述预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，对样本数据的预取数量进行第一更新处理，得到目标预取数量。

这样，能够基于预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，来对对样本数据的预取数量进行动态更新，灵活调配预取的样本数据的量，以满足训练需求。

一种可能的实施方式中，所述根据所述预取样本数据队列当前占用的总内存空间以及内存使用上限阈值，对样本数据的预取数量进行第一更新处理，得到目标预取数量，包括：根据所述预取样本数据队列当前占用的总内存空间、内存使用上限阈值、以及对所述深度学习模型进行训练的数据吞吐量，对样本数据的预取数量进行第一更新处理，得到所述目标预取数量。

这样，基于预取样本数据队列当前占用的总内存空间、内存使用上限阈值、以及对所述深度学习模型进行训练的数据吞吐量来动态更新预取数量，在数据吞吐量增加时，使得预取样本数据队列中的数据量能够跟上样本数据的消耗，在数据吞吐量降低时，能够尽可能的减少预取样本数据队列占据内存的量，进而多余的内存可以用于其他工作，调整更加灵活。