[发明专利]一种数据处理方法、装置及电子设备

说明书

本申请公开了一种数据处理方法及装置，包括：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值，在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。所述数据处理方法及装置，在模型训练过程中，能够依据权重在迭代过程中的至少两个距零值确定对应的权重参数的重要性，直接对不满足预设要求的权重参数进行裁剪，实现过程中不需要再对人工智能模型进行次数巨大的迭代，因而节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

技术领域

本申请涉及数据处理技术，更具体的说，是涉及一种数据处理方法、装置及电子设备。

背景技术

在深度学习模型成型之前的训练阶段，需要根据训练时的输入输出，对深度学习模型进行裁剪调整，以将一些对网络贡献冗余的非零权重参数裁剪掉，从而提升整个深度学习模型的精度。

发明内容

有鉴于此，本申请提供如下技术方案：

一种数据处理方法，包括：

在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：

至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值；

在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

可选的，所述第一距零值早于所述第二距零值出现，则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

在所述第二距零值小于所述第一距零值，且所述第二距零值的绝对值小于第一阈值的情况下，将所述权重参数主体的权重值设为零。

可选的，还包括：

依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度；

依据所述距零值变化幅度确定每一个权重参数主体的重要性数值；

则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

将重要性数值不满足第一条件的权重参数主体的权重值设为零。

可选的，所述确定每一个权重参数主体的权重的距零值变化幅度，包括：

确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度；

所述确定各个权重参数主体迭代前和迭代后的权重的距零值变化幅度，包括：

设置固定的迭代步伐，确定迭代后与迭代前权重参数主体的权重的距零值变化幅度；

或，

设置固定的迭代步伐，确定权重参数主体迭代后的权重值与其初始权重值之间的距零值变化幅度；

或，

确定模型经过迭代满足精度要求后，权重参数主体的权重值与其初始权重值之间的距零值变化幅度。

可选的，所述将重要性数值不满足第一条件的权重参数主体的权重值设为零，包括：

将重要性数值小于第二阈值的权重参数主体的权重值设为零；

或，

将重要性数值由大到小的队列中，末尾的第一比例的权重参数主体的权重值设为零。

可选的，还包括：

确定每一个权重参数主体迭代后的权重值的绝对值；