[发明专利]数据训练方法、装置及电子设备

说明书

本申请实施例提供一种数据训练方法、装置及电子设备。其中，数据训练方法包括：从数据服务器中获取共享的训练参数进行所属任务的训练，得到所述训练参数的更新量；将所述训练参数的更新量发送给所述数据服务器；接收所述数据服务器发送的更新的训练参数，所述更新的训练参数为所述数据服务器根据不同训练服务器进行不同任务训练时得到的对应的训练参数的更新量计算得到的参数。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据训练方法、装置及电子设备。

背景技术

目前，很多基于深度学习的训练任务都需要数据库等大数据集上预训练过的骨干网络，利用骨干网络提取特征来做做具体的任务，训练时，需要对将骨干网络和新添加的具体任务的网络分支都进行训练。但是这样会带来一些问题：如果需要测量其在一具体任务上的表现时，还需要将在大数据集上预训练一次，这样会带来很大的时间成本。

发明内容

有鉴于此，本申请实施例的目的在于提供一种数据训练方法、装置及电子设备。通过多个训练服务器并行进行多个任务的训练可以提高训练效率，另外，在语义分割任务中，引入分类任务联合训练，让训练过程中能够更好地能捕捉数据信息。

第一方面，本申请实施例提供的一种数据训练方法，应用于训练服务器，所述数据训练方法包括：

从数据服务器中获取共享的训练参数进行所属任务的训练，得到所述训练参数的更新量；

将所述训练参数的更新量发送给所述数据服务器；

接收所述数据服务器发送的更新的训练参数，所述更新的训练参数为所述数据服务器根据不同训练服务器进行不同任务训练时得到的对应的训练参数的更新量计算得到的参数。

可选地，从数据服务器中获取共享的训练参数进行所属任务的训练，得到所述训练参数的更新量的步骤，包括：

获得所属任务所需的批处理的输入数据；

根据所述输入数据前向传播经过批重归一化得到输出数据；

根据所述输出数据后向传播训练得到所述训练参数的梯度；

根据所述训练参数的梯度计算得到所述训练参数的更新量。

可选地，所述根据所述输入数据前向传播经过批重归一化得到输出数据的步骤，包括：

根据输入数据计算局部平均和局部方差；

根据所述局部平均及当前的局部滑动平均进行计算，得到更新的局部滑动平均；

根据所述局部方差及当前的局部方差进行计算，得到更新的局部滑动方差；

将所述局部滑动平均及所述局部滑动方差发送给所述数据服务器，以使所述数据服务器根据所述局部滑动平均和所述局部滑动方差对全局滑动平均和全局滑动方差进行更新，得到更新的全局滑动平均和更新的全局滑动方差；

接收所述数据服务器发送的所述更新的全局滑动平均和所述更新的全局滑动方差；

将所述更新的全局滑动平均、所述更新的全局滑动方差、所述局部平均及所述局部方差计算得到输出数据。

可选地，所述任务包括分类任务，所述从数据服务器中获取共享的训练参数进行所属任务的训练，得到所述训练参数的更新量的步骤，包括：

从数据服务器中获取共享的训练参数进行分类训练，得到所述训练参数的第一更新量。

可选地，所述任务包括语义分割任务，所述从数据服务器中获取共享的训练参数进行所属任务的训练，得到所述训练参数的更新量的步骤，包括：

从数据服务器中获取共享的训练参数进行语义分割训练，得到所述训练参数的第二更新量。