[发明专利]神经网络优化方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种神经网络优化方法、装置、计算机设备及存储介质，通过重构子图的方式获取胶水子图对应的优化结构，并根据重构后的子图对神经网络模型进行优化，可以提高神经网络模型的整体性能。当接收到机器学习处理任务的请求时，调用优化后的神经网络模型可以减少冗余计算，继而减少计算机设备的资源消耗。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种神经网络优化方法、装置、计算机设备及存储介质。

背景技术

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络由大量的节点(或称神经元)之间星湖连接构成，通过调整内部大量节点之间相互连接的关系，利用输入数据、权值产生输出数据模拟人脑的信息处理过程处理信息并生成模式识别之后的结果。

现有中，算法设计者在对神经网络模型进行设计时，往往出于神经网络模型在描述上的整洁和简洁的目的，在神经网络模型中引入了“胶水”算子。这里，“胶水”算子是指算子本身并不涉及任何计算逻辑，其输入数据和输出数据不管是数的数量，亦或是数值本身都没有发生变化。然而，不合理的“胶水”算子的引入和组合可以导致在更高一级的计算图层面上在神经网络模型的执行过程中加入了一些不必要、不合理的访存行为，影响了人工智能处理器针对神经网络模型的计算部分在硬件结构和指令设计上进行针对优化所带来的优异的性能的提升，降低了神经网络模型的整体性能。那么，当计算机设备在运行上述包含可以优化的“胶水”算子的神经网络模型时，这无疑加大了计算机设备的资源消耗。

发明内容

本发明实施例提供一种神经网络优化方法、装置、计算机设备及存储介质，对包含多个胶水算子的胶水子图，通过重构子图的方式获取胶水子图对应的优化结构，并根据重构后的子图对神经网络模型进行优化，这一实现方式可以提高神经网络模型的整体性能。此外，当在计算机设备运行优化后的神经网络模型时，可以减少计算机设备的资源消耗。

为实现上述目的，第一方面，本发明实施例提供了一种神经网络优化方法，该方法包括：

在神经网络模型对应的计算图中提取胶水子图；其中，所述胶水子图是包含胶水算子的子图；所述胶水算子用于对所述计算图的张量数据进行调整；

在确保所述胶水子图的输入张量数据、输出张量数据不变的情况下，对所述计算图中的所述胶水子图进行处理，获得重构结果子图集合；其中，所述重构结果子图集合中的任意一个重构结果子图的输入张量数据和输出张量数据分别与所述胶水子图的输入张量数据和输出张量数据相同；

从所述重构结果子图集合中确定目标子图；

将所述目标子图替换所述计算图中对应的胶水子图，获取优化后的计算图；

根据所述优化后的计算图获取对应的二进制指令，以分配至对应人工智能处理器上执行任务。

为实现上述目的，第二方面，本发明实施例提供了一种神经网络优化装置，该装置包括用于执行上述第一方面的方法的单元。具体地，该装置包括：

提取单元，用于在神经网络模型对应的计算图中提取胶水子图；其中，所述胶水子图是包含胶水算子的子图；所述胶水算子用于对所述计算图的张量数据进行调整；

处理单元，用于在确保所述胶水子图的输入张量数据、输出张量数据不变的情况下，对所述计算图中的所述胶水子图进行处理，获得重构结果子图集合；其中，所述重构结果子图集合中的任意一个重构结果子图的输入张量数据和输出张量数据分别与所述胶水子图的输入张量数据和输出张量数据相同；

确定单元，用于从所述重构结果子图集合中确定目标子图；

优化单元，用于将所述目标子图替换所述计算图中对应的胶水子图，获取优化后的计算图；

执行单元，用于根据所述优化后的计算图获取对应的二进制指令，以分配至对应人工智能处理器上执行任务。