[发明专利]基于混合神经网络的仿生视觉传感器光流预测方法

说明书

基于混合神经网络的仿生视觉传感器光流预测方法，涉及图像处理领域，解决现有光流预测方法存在拖影或者目标丢失现象，进而影响光流预估精度且存在增加计算量，导致丧失事件相机低数据量的优势等问题，首先获取网络上公开数据集，并对时空数据流进行自适应切片；然后构建用于仿生视觉传感器光流预测的混合神经网络，使网络能够进行光流预测；然后设计整体网络训练的损失函数，对网络进行有监督训练，得到速度更快，精度更高的有监督光流估计模型；最后利用训练好的模型对仿生视觉传感器的时空数据流进行光流预测。本发明的光流预测方法提高了光流预测精度以及预测光流的准确性。

技术领域

本发明涉及图像处理领域，具体涉及一种基于混合神经网络的仿生视觉传感器光流预测方法。

背景技术

由于仿生视觉传感器时空数据的离散特性，我们并不能直接用传统的卷积神经网络(CNN)进行时空数据的光流预测。因此以往的仿生视觉传感器时空数据的光流预测大多将时空数据流按固定事件数量或固定时间间隔进切片然后转为图像帧，然后把图像帧送进传统的卷积神经网络(CNN)中进行训练。然而用固定事件数量或固定时间间隔进切片然后转为图像帧的方法会造成图像帧中存在目标拖影或者信息丢失现象，而且网络会对图像帧中的每一个像素进行计算，极大的增加计算量，丧失了仿生视觉传感器低数据量的优势。

现如今主流的成像器件为CCD和CMOS图像传感器，它们以帧的成像模式输出图像，输出的图像比较直观且能较好的取悦人眼。但以帧为基础的传输方式，对场景中每个画面都成像，有大量的冗余数据，不利于图像的实时处理，而且有帧频的限制，会在帧间隔期间丢失高速运动目标的运动信息，不适用于机器视觉领域，因此便应运而生了仿生视觉传感器。该传感器由于其特殊的像素结构，只对光强发生变化的地方成像，根据像素点的光强变化生成事件(e＝{x,y,t,p})，输出事件流，在事件(e＝{x,y,t,p})中包含位置信息(x,y)，极性信息(光强变强或变暗)(p)，时间信息(t)。因此该仿生视觉传感器的输出数据为由离散事件组成的时空数据流。

由于其特殊的数据格式，现有的图像处理算法并不适用于仿生视觉传感器。为了促进仿生视觉传感器在机器视觉方面的应用，一些科研工作者提出了基于仿生视觉传感器的光流估计。

现有专利202011408555.1提出一种基于事件相机的端到端的无监督光流估计方法。利用事件相机输出的事件流，首先对原始数据进行预处理，将四维转换为三维，然后将每个样本分为多个子序列，每个子序列用ConvLSTM单独处理，全部处理完以后按通道拼接形成最终送入光流预测网络中的三维数据。采用类似于编码/解码器的光流预测网络，利用事件相机固定频率输出的事件流数据的前后两个灰度帧设计光度误差损失，加上平滑度损失，共同作为无监督损失，促使网络最终估计出光流量。

上述所提到的方法，虽然是一种端到端的无监督光流估计方法，但是在数据预处理阶段对时空数据流按固定事件数量进行切割，如果切割不当会造成拖影或者目标丢失现象，从而影响光流预估精度。而且上述方法依旧是将事件构建成图像帧送入网络进行计算，极大的增加了计算量，而且丧失了事件相机低数据量的优势。

发明内容

本发明为解决现有光流预测方法存在拖影或者目标丢失现象，进而影响光流预估精度且存在增加计算量，导致丧失事件相机低数据量的优势等问题，提供一种基于混合神经网络的仿生视觉传感器光流预测方法。

基于混合神经网络的仿生视觉传感器光流预测方法，该方法由以下步骤实现：

步骤一、获取公开数据集中仿生视觉传感器的时空数据流以及标记光流图像；并对所述时空数据流进行自适应切片；

步骤二、构建用于仿生视觉传感器光流预测的混合神经网络，使网络能够进行光流预测；

步骤三、设计整体网络训练的损失函数，对网络进行有监督训练，获得有监督光流估计模型；

步骤四、利用所述有监督光流估计模型对仿生视觉传感器的时空数据流进行光流预测，获得预测的光流图像。