[发明专利]用于模型训练的运行控制方法、装置和电子设备

权利要求书

1.一种用于模型训练的运行控制方法，包括：

在多个GPU采用第一批次的训练数据进行模型训练的过程中，采用CPU上运行的多个第一进程读取所述第一批次之后第二批次的训练数据，其中，所述模型训练是采用所述多个GPU进行并行训练，各个GPU对模型训练的过程是相互独立的；

将所述多个第一进程读取的所述第二批次的训练数据，根据所有第一进程读取的训练数据的长度进行数据排序，以根据排序结果，确定各所述第一进程对应的目标训练数据；

向各所述第一进程对应的第二进程发送所述目标训练数据，以使各所述第二进程对应的GPU在采用第一批次的训练数据进行模型训练完毕后，采用所述第二进程接收到的目标训练数据进行模型训练；

其中，所述在多个GPU采用第一批次的训练数据进行模型训练的过程中，采用CPU上运行的多个第一进程读取所述第一批次之后第二批次的训练数据，包括：

在多个GPU采用所述第一批次的训练数据进行模型训练的过程中，采用所述CPU上运行的各所述第二进程向对应的第一进程发送控制信息，其中，所述控制信息用于控制所述第一进程读取所述第一批次之后第二批次的训练数据。

2.根据权利要求1所述的方法，其中，所述向各所述第一进程对应的第二进程发送所述目标训练数据，以使各所述第二进程对应的GPU在采用第一批次的训练数据进行模型训练完毕后，采用所述第二进程接收到的目标训练数据进行模型训练，包括：

监听各所述第二进程内的目标子进程；其中，所述目标子进程，用于从所属第二进程所对应的第一进程获取所述目标训练数据；

在监听到至少一个所述第二进程的目标子进程获取到所述目标训练数据的情况下，将所述目标训练数据发送至对应的GPU，以使各所述第二进程对应的GPU在采用第一批次的训练数据进行模型训练完毕后，采用所述第二进程接收到的目标训练数据进行模型训练。

3.根据权利要求2所述的方法，其中，所述在监听到至少一个所述第二进程的目标子进程获取到所述目标训练数据的情况下，将所述目标训练数据发送至对应的GPU，以使各所述第二进程对应的GPU在采用第一批次的训练数据进行模型训练完毕后，采用所述第二进程接收到的目标训练数据进行模型训练，包括：

在监听到至少一个所述第二进程的目标子进程获取到所述目标训练数据的情况下，等待对应的GPU采用第一批次的训练数据进行模型训练完毕；

在对应的GPU采用第一批次的训练数据进行模型训练完毕的情况下，将所述目标训练数据发送至对应的GPU并触发对应的GPU采用所述目标训练数据进行模型训练。

4.根据权利要求1-3任一项所述的方法，其中，所述将所述多个第一进程读取的所述第二批次的训练数据，根据所有第一进程读取的训练数据的长度进行数据排序，以根据排序结果，确定各所述第一进程对应的目标训练数据，包括：

将所述多个第一进程读取的所述第二批次的训练数据，在所述多个第一进程之间进行同步，以使各所述第一进程得到所述多个第一进程所读取的训练数据的数据集合；

采用各所述第一进程对各自得到的数据集合内的训练数据，根据数据长度进行数据排序，以根据排序结果，从所述数据集合内确定对应的目标训练数据。

5.根据权利要求4所述的方法，其中，所述采用各所述第一进程对各自得到的数据集合内的训练数据，根据数据长度进行数据排序，以根据排序结果，从所述数据集合内确定对应的目标训练数据，包括：

对任一第一进程，对所述数据集合内的训练数据，根据数据长度进行数据排序；

根据所述第一进程对应的序号，将所述数据集合中排序为所述序号的训练数据作为所述第一进程对应的目标训练数据。

6.根据权利要求5所述的方法，其中，所述方法还包括：

根据所述第一进程的进程号i和所述CPU上运行的第一进程的总数M，确定对应的序号q；

其中，q取值是根据n*M+i确定，n为整数。