[发明专利]针对卷积神经网络的推理方法、系统及计算机设备

说明书

本申请实施例提供一种针对卷积神经网络的推理方法、系统及计算机设备，本实施例中，首先将训练完成的卷积神经网络模型转换为计算图，其中，所述计算图包括通过有向边连接的多个节点算子，所述节点算子包括卷积层算子以及操作符算子；然后，对所述计算图进行优化，并将优化后的计算图按照预设的格式进行保存，其中，对所述计算图进行优化包括：遍历所述计算图中的各节点算子，将满足设定融入条件的操作符算子融入到对应的卷积层算子中，并将融入了操作符算子的卷积层算子设置对应的算子融入标志位；最后，调用所述优化后的计算图执行卷积神经网络推理。如此，可以有效提升卷积神经网络的推理速度。

技术领域

本申请涉及云计算相关技术领域，具体而言，涉及一种针对卷积神经网络的推理方法、系统及计算机设备。

背景技术

随着深度学习算法的快速发展及应用，大量面向实际应用的卷积神经网络被训练出来以提升机器效率或支持新特性、新玩法。例如，在一种典型的实际应用中，针对计算量大、推理时间长的卷积神经网络会被部署在云端服务器，而针对计算量小、推理时间短的卷积神经网络则可以部署在客户端(如用户PC、手机等)。

为了能够让更多的卷积神经网络得以部署在客户端，或者减轻云端服务器的负载以降低云端服务器的成本，如何有效提升卷积神经网络的推理效率，减小单次推理计算所需时间，降低设备的CPU、内存占用率，是本领域技术人员一直以来致力于研究的重要课题。

发明内容

基于以上内容，第一方面，本申请实施例提供一种针对卷积神经网络的推理方法，所述方法包括：

将训练完成的卷积神经网络模型转换为计算图，其中，所述计算图包括通过有向边连接的多个节点算子，所述节点算子包括卷积层算子以及操作符算子；

对所述计算图进行优化，并将优化后的计算图按照预设的格式进行保存，其中，对所述计算图进行优化包括：遍历所述计算图中的各节点算子，将满足设定融入条件的操作符算子融入到对应的卷积层算子中，并将融入了操作符算子的卷积层算子设置对应的算子融入标志位；

调用所述优化后的计算图执行卷积神经网络推理。

根据第一方面的一种可能的实现方式，调用所述优化后的计算图执行卷积神经网络推理，包括：

依次调用所述优化后的计算图中的各节点算子；

在当前调用的节点算子为卷积层算子时，检测该卷积层算子是否携带有所述算子融入标志位；

在所述卷积层算子携带有所述算子融入标志位时，由该卷积层算子根据其对应的输入张量进行卷积计算得到卷积结果，然后基于该卷积结果执行所述算子融入标志位所对应的操作符计算，并将操作符计算的结果存储到输出张量，作为下一个节点算子的输入张量；

在所述卷积层算子未携带有所述算子融入标志位时，由该卷积层算子根据其对应的输入张量进行卷积计算得到卷积结果，将卷积结果存储到输出张量，作为下一个节点算子的输入张量。

根据第一方面的一种可能的实现方式，遍历所述计算图中的各节点算子，将满足设定融入条件的操作符算子融入到对应的卷积层中，并将融入了操作符算子的卷积层设置对应的算子融入标志位，包括：

依次遍历所述计算图中的每个卷积层算子，获取所述卷积层算子的下一个节点算子；

判断所述下一个节点算子是否满足算子融入条件，若满足算子融入条件，则将所述下一个节点算子融入到当前遍历的卷积层算子中，并为所述当前遍历的卷积层算子设置所述下一个节点算子对应的算子融入标志位；

在所述计算图中删除满足算子融入条件的所述下一个节点算子。

根据第一方面的一种可能的实现方式，判断所述下一个节点算子是否满足算子融入条件，包括：

判断所述下一个节点算子是否为一元操作符算子或二元操作符算子；