[发明专利]神经网络的运行优化及数据处理方法、设备及存储介质

说明书

本发明适用计算机技术领域，提供了一种神经网络的运行优化及数据处理方法、设备及存储介质，在神经网络的前向计算过程中，获得其节点入度统计数据并从通路集合中确定关键通路，若关键通路的关键边满足并行处理条件，确定可与该关键边并行处理的、位于非关键通路上的非关键边，若关键边不满足并行处理条件，则确定可并行处理的至少两条非关键边，以形成可供并行处理线程进行处理的计算子线程分配模型。这样，可实现在神经网络的层级结构上的多核并行加速优化，有效提升了神经网络的计算效率，有利于大规模神经挽留过在使用多核计算资源的计算设备上的推广应用。

技术领域

本发明属于计算机技术领域，尤其涉及一种神经网络的运行优化及数据处理方法、设备及存储介质。

背景技术

在训练得到深度学习神经网络后，会将神经网络部署到实际工程中进行应用，这个应用的过程主要是利用神经网络的前向计算结果。然而，不同结构的神经网络训练出的网络精度不一样，一般而言，结构越复杂的神经网络，其网络精度也越高。因此，能够部署越复杂的神经网络并减少其前向计算的时间，计算效率将得到有效提升，对实际的应用也越有利。当前主流深度学习神经网络的部署大部分基于开源框架，它们几乎都是先申请出整个神经网络需要的计算资源，然后从输入到输出，顺序逐层执行完各个计算子，每个计算子一般对应神经网络一个网络层，这样会对计算资源造成一定程度上的浪费；而对于多核资源的利用，大部分都是一个神经网络建立一个计算通道，复制相同的神经网络到每个核上来进行计算，实现的是对整个神经网络的多核并行加速优化，仍然无法实现神经网络计算效率的有效提升，限制了大规模神经网络在使用多核计算资源的计算设备上的应用。

发明内容

本发明的目的在于提供一种神经网络的运行优化及数据处理方法、设备及存储介质，旨在解决现有技术所存在的、因对整个神经网络的多核并行加速优化而导致的计算效率低下并无法有效在多核计算设备上推广应用的问题。

一方面，本发明提供了一种神经网络的运行优化方法，所述神经网络的前向图对应由位于输入与输出之间的至少两条通路构成的集合，每条所述通路以特征图作为节点、以计算子作为边，所述计算子对应至少一个网络层，所述运行优化方法在所述神经网络的前向计算过程中执行如下内容：

获得节点入度统计数据并从所述集合中确定关键通路，所述集合中的其他所述通路为非关键通路；

根据所述节点入度统计数据，当所述关键通路的关键边满足并行处理条件时，确定可与所述关键边并行处理的、位于所述非关键通路上的非关键边；当所述关键边不满足并行处理条件时，确定可并行处理的至少两条所述非关键边，以形成可供并行处理线程进行处理的计算子线程分配模型。

进一步的，获得节点入度统计数据，具体为：

采用深度优先搜索算法，对所述节点的入度进行统计，得到所述节点入度统计数据。

进一步的，从所述集合中确定关键通路，具体包括：

采用拓扑排序算法，将所述前向图转换得到拓扑序列；

根据所述拓扑序列，从所述集合中确定所述关键通路。

进一步的，根据所述拓扑序列，从所述集合中确定所述关键通路，具体包括：

根据所述网络层的浮点计算量，确定所述通路的活动持续时间；

根据所述活动持续时间，按照所述拓扑序列对应的拓扑次序和逆拓扑次序，确定所述节点的最早开始时间和最晚开始时间；

以所述最早开始时间与所述最晚开始时间相同的所述节点构建所述关键通路。

进一步的，所述并行处理线程被预设为N条，N取大于1的自然数，当所述关键通路的关键边满足并行处理条件时，确定可与所述关键边并行处理的、位于所述非关键通路上的非关键边；当所述关键边不满足并行处理条件时，确定可并行处理的至少两条所述非关键边，具体为：