[发明专利]一种卷积神经网络的高效编码方法、设备、存储介质

说明书

一种卷积神经网络的高效编码方法，包括以下步骤：以卷积神经网络进行计算首帧图像，选择并保存中间层的特定行列数据作为参考卷积；后续每一帧图像当计算完成第一层卷积时，与参考卷积比较，将变化小或不变的多个通道卷积结果输出进行游程编码；根据游程编码区域和非游程编码区域输入数据时，取出相应中间层的特定行列数据以执行不同策略的卷积运算；每隔预设帧数图像时更新参考卷积。本发明大大减少了在NPU和存储器之间导入导出中间层数据对传输带宽的需求，能够有效减少卷积神经网络对静态图像区域的重复计算，提高神经网络的计算速度，达到实时响应的要求，同时功耗大大降低。

技术领域

本发明涉及利用卷积神经网络处理图像的技术领域，特别是一种卷积神经网络的高效编码方法、设备、存储介质。

背景技术

卷积神经网络目前已被大量应用于图像识别中，由于计算量大，对芯片的面积、价格和功耗有很大的挑战。而在现实场景中，摄像头拍摄的视频的背景很多是静态的，如果能够减少卷积神经网络对多帧图像轻微改变的图像区域的重复计算，将大大提高卷积神经网络的计算速度，降低计算功耗，并满足许多实时应用场景的需要。

现有技术中由于第一帧图像与后帧图像的部分区域类似、相同等情况，重复计算导致卷积中间层的数据传输量极大的，同时降低了卷积运算的速度。

发明内容

针对上述由于第一帧图像与后帧图像的部分区域类似、相同等情况，重复计算导致卷积中间层的数据传输量极大的，同时降低了卷积运算的速度问题，本发明提供一种卷积神经网络的高效编码方法、设备、存储介质，大大减少了导入导出中间层数据对传输带宽的需求，能够有效减少卷积神经网络对静态图像区域的重复计算，提高神经网络的计算速度。

为实现上述目的，本发明选用如下技术方案：一种卷积神经网络的高效编码方法，包括以下步骤：

使用卷积神经网络计算首帧图像，选择并保存中间层的特定行列数据作为参考卷积；

后续每一帧图像当计算完成第一层卷积时，与参考卷积比较，将变化小或不变的多个通道卷积结果输出进行游程编码；

为计算下一层卷积装载输入数据时，装载游程编码区域；

根据是否是游程编码区域和非游程编码区域输入数据，从参考卷积和/或上一层卷积非游程编码输出区域取出相应中间层的特定行列数据以执行不同策略的卷积运算；

每隔预设帧数图像时，选择并保存当前卷积中间层的特定行列数据以更新参考卷积，继续执行后续每一帧图像的游程编码。

优选地，所述以卷积神经网络进行计算首帧图像，包括：

装载第一帧图像，装载卷积神经网络卷积核权重；

按照标准的卷积神经网络计算方法进行计算；

选择并保存多层中间层的特定行列数据作为参考卷积。

优选地，所述多个通道卷积结果输出进行游程编码，包括：

输入后续每一帧图像计算第一层卷积时，同时与首帧图像或参考卷积相应行列卷积输出数据进行比较；

若变化很小或没有变化，采用游程方式对连续数列卷积结果输出的数据进行编码，采用游程方式进行编码包括编码标志位+开始位置+列数，每增加一列在列数的基础上+1数值，直至当前列变化较大后结束游程编码；

将游程编码和非游程编码的卷积数据分区域保存。

优选地，所述高效编码方法还包括：

当第一层卷积游程编码稀疏时，判断图像发生晃动或者场景发生切换；

计算第一层卷积时，计算局部运动向量以及全局运动向量并判断：