[发明专利]基于仿生式脉冲相机的成像方法、装置、设备及存储介质

说明书

本发明公开了一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质，所述方法包括:根据预设时间段内的多个脉冲阵列，得到重构的图像序列；根据光流法得到所述图像序列之间的相对运动关系；根据所述相对运动关系将所述图像序列进行运动对齐，得到不同帧各像素点间的对应关系；根据不同帧各像素点间的对应关系，对所述重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。根据本公开实施例提供的基于仿生式脉冲相机的成像方法，解决了传统相机难以对高速运动的物体进行清晰成像的问题，可以产生信噪比高、不模糊的图像。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质。

背景技术

传统数字相机通常以固定帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。通常曝光时间的长度由光照强度决定，当光线较弱时往往需要增加曝光时间来抑制暗电流噪声的影响。这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。近年来，生物视网膜中央凹独特的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种包含光感受器、积分器和阈值比较器的脉冲相机被提出。脉冲相机以脉冲阵列的形式表示视觉信息，能够持续记录光强的变化，不存在帧率和曝光时间的概念，突破了传统相机的局限性，既可以实现对高速运动的捕捉和记录，又可以重构出场景中纹理细节。

现有技术中，存在两种脉冲相机的重建算法，基于脉冲间隔的重建算法和基于时间窗平均的重建算法。其中，基于脉冲间隔的重建算法利用脉冲间隔随着光强的增加而减小这一特性，借助前后两个脉冲重构出一小段时间内的光强。该算法虽然能刻画出高速运动的轮廓，但重建信号通常不够稳定，在时间方向看像素值有明显的波动；基于时间窗平均的重建算法利用脉冲发放频率随着光强的增加而增加这一特性来估计时间窗内的平均光强。该算法虽然在一定程度上提高了重建图像的信噪比，但是当物体存在运动时，时间窗内的平均会导致重建图像存在运动模糊。

因此，现有技术中利用脉冲相机进行图像重建的方法，在高速运动场景下无法得到清晰的图像。

发明内容

本公开实施例提供了一种基于仿生式脉冲相机的成像方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于仿生式脉冲相机的成像方法,包括:

根据预设时间段内的多个脉冲阵列，得到重构的图像序列；

根据光流法得到图像序列之间的相对运动关系；

根据相对运动关系将图像序列进行运动对齐，得到不同帧各像素点间的对应关系；

根据不同帧各像素点间的对应关系，对重构的图像序列的像素点进行时间维度上滤波，更新像素点的光强值以生成图像。

在一个实施例中，根据预设时间段内的多个脉冲阵列，得到重构的图像序列之前，还包括：

根据预设时间段内的脉冲信号，获取待成像物体基于像素点的多个脉冲阵列。

在一个实施例中，根据预设时间段内的多个脉冲阵列，得到重构的图像序列，包括：

采用脉冲间隔算法重构出图像序列。

在一个实施例中，得到不同帧各像素点间的对应关系之后，还包括：

获取当前帧的像素点在其他帧图像上的对应像素点处的光强值。

在一个实施例中，获取当前帧的像素点在其他帧图像上的对应像素点处的光强值，包括：