[发明专利]基于脉冲序列式图像传感器的高速目标追踪方法

说明书

本发明涉及光学、图像传感器成像及图像处理领域，为提出用于脉冲图像传感器的高速目标追踪方法，该方法能有效提高脉冲图像传感器对场景中的高速目标追踪的精度和稳定性。为此，本发明采取的技术方案是，基于脉冲序列式图像传感器的高速目标追踪方法，步骤如下：(1)根据脉冲数据获取脉冲间隔及脉冲频率；(2)对运动目标进行运动检测，并去除运动检测过程中出现的鬼影和空洞；(3)对目标进行锁定与追踪；(4)在找到真实的目标区域之后，对场景及目标采用双边滤波进行图像重构。本发明主要应用于图像传感器设计制造场合。

技术领域

本发明涉及光学、图像传感器成像及图像处理领域，具体涉及基于脉冲序列式图像传感器的高速目标追踪方法。

背景技术

图像传感器一直以来都是人类研究的热点。而仿生脉冲序列式图像传感器作为神经形态视觉传感器，具有高帧频和低数据吞吐量的特点，满足其高速成像的需求。脉冲序列式图像传感器像素的电路结构及其等效模型和工作原理如图1所示，像素的电路结构主要包括光电二极管、复位管、比较器、自复位单元和像素内读出电路单元。通过电路等效模型和工作原理可以看出，在光照条件下，积分器不断积分光生电流I_D，产生光生电荷Q_D，当光生电荷达到阈值Q_ref时，积分器复位并重新开始积分，同时产生一个脉冲数据1，并在同步读出信号到来时传输到片外，由于读出信号到来的时间周期为一个帧周期，因此如果在一个帧周期内没有脉冲数据1产生，则当读出信号到来时就输出脉冲数据0到片外。因此脉冲图像传感器的输出数据为只有0和1的单比特数据序列。

成像系统和分析算法是机器视觉的重要组成部分，两者相互依赖，密不可分。而高速目标追踪系统是机器视觉的重要分支，在高速目标追踪系统中，图像传感器作为成像系统，目标追踪算法则作为分析算法。在过去的几十年中，尽管目标跟踪算法作为分析算法已经被大量研究，取得了令人满意的可靠性和准确性，然而，大多数文献资料都是基于传统相机所拍摄的视频图像序列的研究，而针对仿生型脉冲图像传感器的研究少之又少，一方面是由于脉冲图像传感器数据为单比特数据，没有直接包含灰度信息，因此不适合传统的目标追踪算法。另一方面，为了应用传统的目标追踪方法，需要根据单比特数据来重构图像序列，尽管一些研究基于脉冲图像传感器提出了一些相关的图像重构算法，可以根据单比特的脉冲数据重构出场景的灰度信息。然而如果将传统的目标追踪算法应用于重构后的图像序列，那么图像重构过程中引入的误差和噪声将会严重影响目标追踪的精度和稳定性。

发明内容

为克服现有技术的不足，本发明旨在提出用于脉冲图像传感器的高速目标追踪方法，该方法能有效提高脉冲图像传感器对场景中的高速目标追踪的精度和稳定性。为此，本发明采取的技术方案是，基于脉冲序列式图像传感器的高速目标追踪方法，步骤如下：

(1)根据脉冲数据获取脉冲间隔及脉冲频率；

(2)对运动目标进行运动检测，并去除运动检测过程中出现的鬼影和空洞；

(3)对目标进行锁定与追踪；

(4)在找到真实的目标区域之后，对场景及目标采用双边滤波进行图像重构。

详细步骤如下：

(1)根据脉冲数据获取脉冲间隔及脉冲频率，对于t时刻的像素(i,j)，首先需要找出该像素t时刻之前最近的一次脉冲数据1的输出时刻Zmax和t时刻之后最近的一次脉冲数据1的输出时刻Zmin，如式(1)所示：

其中I_z(i,j)为像素(i,j)在z时刻的脉冲数据，之后该像素t时刻的原始脉冲间隔P_t(i,j)通过这两个时刻的差值获得，如式(2)所示：

P_t(i,j)＝Zmin-Zmax (2)

通过式(2)将脉冲数据转换为脉冲间隔，然后根据转换后的脉冲间隔，求出脉冲频率，即：