[发明专利]用于特征提取的图像处理装置和方法

权利要求书

1.一种用于从场景的图像中提取特征的图像处理装置(100；200)，其中，所述装置(100；200)包括：

CMOS传感器，用于捕获场景的第一图像并提供第一图像数据(301)，所述第一图像数据(301)包括第一多个样本值；

事件传感器，用于捕获所述场景的第二图像并提供第二图像数据(303)，所述第二图像数据(303)包括第二多个样本值，所述第二图像数据(303)包括正/负强度变化量和强度变化的位置，所述位置包括强度变化超过预定阈值的相应像素的坐标，以及所述像素的坐标处发生强度变化的时间；

处理电路，所述处理电路用于，

基于所述第二图像数据，识别特征提取事件；

响应于所述特征提取事件，基于所述CMOS传感器和所述事件传感器的视场和焦距，对所述第一图像和所述第二图像执行几何校正后，将所述第一多个样本值与所述第二多个样本值进行映射；

通过使用神经网络，基于所述第二图像数据从所述第一图像数据(301)中提取特征；以及

通过融合所述第一图像和所述第二图像来生成合成图像。

2.根据权利要求1所述的装置(100；200)，其中，所述特征提取事件由所述装置(100；200)接收到特征提取事件信号而触发，其中，所述特征提取事件信号包括关于要从所述第一图像数据(301)中提取的所述特征的位置的信息。

3.根据权利要求1所述的装置(100；200)，其中，所述处理电路用于基于所述第二图像数据(303)确定是否满足特征提取条件，并且如果满足所述特征提取条件，则触发所述特征提取。

4.根据权利要求3所述的装置(100；200)，其中，所述图像是视频流的多个图像之一，并且其中，所述处理电路还用于基于所述第二图像数据(303)确定运动统计和/或样本值变化信息，并基于所述运动统计和/或所述样本值变化信息确定是否满足所述特征提取条件。

5.根据权利要求4所述的装置(100；200)，其中，所述处理电路用于，通过将所述运动统计和/或所述样本值变化信息与一个或多个阈值进行比较，基于所述运动统计和/或所述样本值变化信息确定是否满足所述特征提取条件。

6.根据权利要求1所述的装置(100)，其中，由所述CMOS成像传感器(101)捕获的所述第一图像的分辨率高于由所述事件成像传感器(111)捕获的所述第二图像的分辨率。

7.根据权利要求2所述的装置(100)，其中，所述处理电路还用于将所述第一图像下采样到所述第二图像的较低分辨率。

8.根据权利要求1至7中任一项所述的装置(100)，其中，所述处理电路还用于基于所述第二图像数据，在所述第一图像数据(301)中识别满足所述特征提取条件的所述特征。

9.根据权利要求1所述的装置(100)，其中，所述处理电路还用于在分别对所述第一图像和所述第二图像进行信号处理之后融合所述第一图像和所述第二图像。