[发明专利]一种神经网络模型激活函数的优化方法

说明书

本发明公开了一种神经网络模型激活函数的优化方法，首先解析神经网络模型的网络结构得到各节点的类型及参数，进而遍历神经网络模型的每个节点，确定节点的连接关系，并根据各个节点的类型确定类型是激活函数的节点，最后将类型为激活函数且相连的至少两个节点划分为待优化节点，将待优化节点优化成为一个激活函数节点，在保证神经网络模型质量、不产生新计算核的前提下，减少了神经网络节点的数量，优化了网络结构，从而提高了神经网络的计算性能和推理性能，并提升了计算速度。

技术领域

本发明属于计算机技术领域，具体地说，是涉及一种神经网络模型激活函数的优化方法。

背景技术

随着人工智能和深度学习的发展，神经网络模型也逐渐出现各种各样的结构，复杂性也不断增加；不断增加的计算要求与硬件计算性能之间的矛盾也越来越明显。

因此，如何在保证神经网络模型质量的前提下，降低推理过程中计算量及对硬件计算性能的依赖，提高推理速度和网络性能，成为神经网络模型优化的关键。

发明内容

本发明的目的在于提供一种神经网络模型激活函数的优化方法，以减少神经网络的计算量，提升计算速度。

本发明采用以下技术方案予以实现：

提出一种神经网络模型激活函数的优化方法，包括如下步骤：解析神经网络模型的网络结构，得到各节点的类型及参数；遍历神经网络模型的每个节点，确定节点的连接关系；根据各节点的类型确定类型是激活函数的节点；将类型是激活函数且相连的节点划分为待优化节点；基于节点的参数，将待优化节点优化为一个激活函数节点。

进一步的，基于节点的参数，将待优化节点优化为一个激活函数节点，具体包括：1)按序将相邻的两个待优化节点按照以下方式优化为一个新的激活函数节点：

其中，k1为排序在前的节点参数，k2为排序在后的节点参数；2)若待优化节点数大于2，则转入步骤3)，否则转入步骤4)3)将优化得到的激活函数节点再与下一个相连的待优化节点按照1)的方式优化，直至最后一个待优化节点被优化；4)优化结束。

进一步的，所述方法还包括：当待优化的两个节点的的激活函数类型相同时，优化之后的激活函数保持原有类型；当待优化的两个节点的激活函数类型不相同时，优化之后的激活函数类型为PReLU。

与现有技术相比，本发明的优点和积极效果是：本发明提出的神经网络模型激活函数的优化方法中，首先解析神经网络模型的网络结构得到各节点的类型及参数，进而遍历神经网络模型的每个节点，确定节点的连接关系，并根据各个节点的类型确定类型是激活函数的节点，最后将类型为激活函数且相连的至少两个节点划分为待优化节点，将待优化节点优化成为一个激活函数节点，在保证神经网络模型质量、不产生新计算核的前提下，减少了神经网络节点的数量，优化了网络结构，从而提高了神经网络的计算性能和推理性能，并提升了计算速度。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1为本发明提出的神经网络模型激活函数的优化方法的流程图；

图2为本发明提出的神经网络模型激活函数的优化方法的具体实施流程图；

图3为本发明提出的神经网络模型激活函数优化示意图之一；

图4为本发明提出的神经网络模型激活函数优化示意图之二。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明提出的神经网络模型激活函数的优化方法，包括如下步骤：

步骤S11：解析神经网络模型的网络结构，得到各节点的类型及参数。