[发明专利]基于算子融合的图像识别方法、装置、设备及存储介质

说明书

本发明提供了一种基于算子融合的图像识别方法、装置、电子设备及存储介质，通过获取用户输入的模型参数，建立视觉模型，并对视觉模型进行解析，获取算子连接图；根据预设的融合规则和算子连接图，获取全部可能的算子融合策略；再根据预设的优化目标函数，对算子融合策略进行筛选；根据筛选后的算子融合策略执行算子融合操作，获取融合后的视觉模型；再获取待识别图像，并将待识别图像输入所述融合后的视觉模型，通过融合后的视觉模型，输出图像识别结果。本发明通过对算子融合策略的计算复杂度进行筛选，以快速且高效的方法确定全局最优的算子融合策略，避免了陷入局部最优解的同时，实现了视觉模型计算效率的提升。

技术领域

本申请实施例涉及深度学习技术领域，特别是涉及一种基于算子融合的图像识别方法、装置、设备及存储介质。

背景技术

深度神经网络（Deep Neural Networks，DNNs）已经成为移动设备上许多主要应用的核心推动力。为了达到高精确度，DNN模型变得越来越复杂，有数百甚至数千的算子层，导致推理需要的内存和计算要求越来越高。基于此，算子融合（或内核/层融合）是许多先进DNN模型执行框架的关键优化，旨在提高DNN模型的图像识别的效率。

因此，算子融合技术的发展尤为关键。深度学习模型尤其是视觉模型中的算子数目多样，且结构各异。为了提升图像识别效率，常常需要进行算子融合操作。然而，传统的算子融合方法通常需要人工进行，使得融合效率低下；且算子融合的策略多种多样，最终进行算子融合后的视觉模型是否能提高图像识别效率，或者说，是否能最大限度的提高模型的图像识别效率，其完全依赖于进行算子融合操作人员的经验判断，这就使得对于算子融合后的实际视觉模型所能提升的图像识别效率存在一定的局限性和不确定性。

发明内容

本发明提供了一种基于算子融合的图像识别方法、装置、电子设备及存储介质，通过筛选计算复杂度较低的算子融合策略，使得进行算子融合后的模型实现了图像识别效率的提升。

第一方面，本发明提供了一种基于算子融合的图像识别方法，包括如下步骤：

获取用户输入的模型参数，并根据所述模型参数，建立视觉模型，并对所述视觉模型进行解析，获取算子连接图；

根据预设的融合规则和所述算子连接图，获取全部可能的算子融合策略；

根据预设的优化目标函数，对所述算子融合策略进行筛选，其中，筛选后的算子融合策略指示当前算子融合策略的计算复杂度最低；

根据所述筛选后的算子融合策略执行算子融合操作，获取融合后的视觉模型；

获取待识别图像，并将所述待识别图像输入所述融合后的视觉模型，通过所述融合后的视觉模型，输出图像识别结果。

进一步地，所述获取全部可能的算子融合策略，还包括：

根据所述算子融合规则，获取全部可能融合的算子连接组；

对所述视觉模型中的全部算子进行遍历，若所述算子存在于所述可能融合的算子连接组，则进行融合选择判断，若选择根据所述算子连接组进行该算子的融合，则记录融合后的算子，若选择不融合该算子，则记录该算子；

当所述全部算子遍历结束后，生成融合算子连接图，其中，所述融合算子连接图包括全部可能的算子融合策略。

进一步地，所述对所述算子融合策略进行筛选，还包括：

根据所述融合算子连接图，通过所述优化目标函数公式，获取所述融合算子连接图的计算复杂度，其中，所述优化目标函数公式为：

其中，op⁽ⁱ⁾_fused为融合后的算子，op⁽ⁱ⁾_org为无法融合的算子，n为所有算子的数量，TC(.)为时间复杂度，SC(.)为空间复杂度；

获取计算复杂度最小的融合算子连接图，并确认该融合算子连接图所对应的算子融合策略为筛选后的算子融合策略。