[发明专利]训练用于图像识别的神经网络的方法和设备

权利要求书

1.一种训练用于图像识别的神经网络的处理器实现的方法，所述方法包括：

接收训练图像数据；

使用训练图像数据对神经网络进行预训练；

对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；

确定种群的一部分是否满足收敛标准；

响应于确定所述部分满足收敛标准，使用所述部分生成新实例；

通过将新实例添加到种群来更新种群；以及

从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。

2.根据权利要求1所述的方法，其中，所述部分包括从所述多个实例选择的一个或多个实例，所述一个或多个实例被确定为最适合于预训练后的神经网络的多个目标中的一个或多个目标，其中，所述多个目标包括预训练后的神经网络的图像识别准确度、图像识别所花费的时间、预训练后的神经网络所占用的存储器容量、功耗中的至少一者。

3.根据权利要求1所述的方法，其中，通过将所述部分的离差与预定的第一阈值进行比较来确定收敛标准。

4.根据权利要求3所述的方法，其中，离差包括所述部分的平均标准偏差和中值绝对偏差中的任意一者。

5.根据权利要求1所述的方法，其中，所述生成的步骤包括：基于所述部分的每个实例中包括的相应层的精度的代表值，确定包括在新实例中的相应层的精度。

6.根据权利要求5所述的方法，其中，所述生成的步骤还包括：基于所述代表值与一个或多个预定的第二阈值之间的比较，确定包括在新实例中的相应层的精度。

7.根据权利要求1所述的方法，还包括：

确定针对种群设置的更新终止条件是否被满足；

响应于更新终止条件不被满足，确定种群的第二部分是否满足收敛标准；以及

响应于确定第二部分满足收敛标准，使用第二部分生成第二新实例，并且通过将第二新实例添加到种群来更新种群。

8.根据权利要求7所述的方法，其中，基于以下条件中的任何一个或任何两个或更多个的任何组合来确定更新终止条件：包括在种群中的所述多个实例是否收敛、种群被更新的次数以及用于更新种群的时间。

9.根据权利要求1所述的方法，其中，基于以下算法中的任何一个或任何两个或更多个的任何组合来生成包括在种群中的多个初始实例：随机算法、遗传算法、贝叶斯优化、强化学习和进化优化。

10.根据权利要求9所述的方法，还包括：

基于以下条件中的任何一个或任何两个或更多个的任何组合来确定是否另外生成所述多个初始实例：所述多个初始实例的生成时间、种群的大小、在所述多个初始实例之间是否发生收敛、以及所述多个初始实例是否包括与局部优化对应的初始实例。

11.根据权利要求1至权利要求10中的任意一项所述的方法，还包括：使用训练后的神经网络对输入图像执行图像识别。

12.一种训练用于图像识别的神经网络的设备，所述设备包括：

一个或多个处理器，被配置为：接收训练图像数据；使用训练图像数据对神经网络进行预训练；对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；确定种群的一部分是否满足收敛标准；响应于确定所述部分满足收敛标准，通过使用所述部分来生成新实例；通过将新实例添加到种群来更新种群；以及从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。