[发明专利]训练用于图像识别的神经网络的方法和设备

说明书

公开了训练用于图像识别的神经网络的方法和设备。所述方法包括：接收训练图像数据；使用训练图像数据对神经网络进行预训练；对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；确定种群的一部分是否满足收敛标准；响应于确定所述部分满足收敛标准，使用所述部分生成新实例；通过将新实例添加到种群来更新种群；以及从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。

本申请要求于2021年1月12日在韩国知识产权局提交的第10-2021-0004075号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及训练用于图像识别的神经网络的方法和设备。

背景技术

多目标优化(Multi-objective optimization，MOO)可以是硬件(和/或硬件实现的软件)设计中的重要且实际的任务，因为多目标优化可使得能够生成可同时满足多个目标的模型、架构和装置。为了在相互矛盾的目标(例如，准确度、存储器容量、延迟、功耗等)方面优化用于图像识别的深度神经网络(DNN)模型，已经尝试应用MOO方法。

此外，现有技术的DNN模型可能太大，并且可能不足以在有限的使用环境(诸如，移动装置)中被执行。DNN模型的量化可对将在预定硬件上执行的预定模型进行优化，具体地讲，混合精度量化(mixed-precision quantization)可以是DNN优化的方法。

发明内容

提供本发明内容以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。

在一个总体方面，一种训练用于图像识别的神经网络的处理器实现的方法包括：接收训练图像数据；使用训练图像数据对神经网络进行预训练；对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；确定种群的一部分是否满足收敛标准；响应于确定所述部分满足收敛标准，使用所述部分生成新实例；通过将新实例添加到种群来更新种群；以及从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。

所述部分可包括从所述多个实例选择的一个或多个实例，所述一个或多个实例被确定为最适合于预训练后的神经网络的多个目标中的一个或多个目标，其中，所述多个目标包括预训练后的神经网络的图像识别准确度、图像识别所花费的时间、预训练后的神经网络所占用的存储器容量、功耗中的至少一者。

在另一总体方面，一种训练用于图像识别的神经网络的设备包括：一个或多个处理器，被配置为：接收训练图像数据；使用训练图像数据对神经网络进行预训练；对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；确定种群的一部分是否满足收敛标准；响应于确定所述部分满足收敛标准，通过使用所述部分来生成新实例；通过将新实例添加到种群来更新种群；以及从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。

在另一总体方面，一种训练用于图像识别的神经网络的处理器实现的方法包括：接收训练图像数据；使用训练图像数据对神经网络进行预训练；对预训练后的神经网络应用不同的混合精度量化，以获得包括多个实例的种群；确定种群之中的具有收敛特征的实例；基于代表值生成新实例，所述代表值基于确定的实例的与预训练后的神经网络的相同层对应的精度而被确定；通过将新实例添加到种群来更新种群；以及从更新的种群选择应用了神经网络的优化的混合精度量化的实例，作为训练后的神经网络。

在另一总体方面，一种具有神经网络处理的处理器实现的方法包括：确定种群的一部分是否满足收敛标准，种群包括针对神经网络应用了不同的混合精度量化的多个实例；响应于确定所述部分满足收敛标准，使用所述部分生成新实例；以及通过将新实例添加到种群来更新种群。