[发明专利]图像视觉处理方法、装置及设备

说明书

本发明实施例提供了图像视觉处理方法、装置及设备，所述方法包括：确定出通过动态视觉传感器DVS获取的双目帧图像中每个事件像素点的视差和深度信息；确定出双目帧图像中每个非事件像素点的多个邻居事件像素点；根据每个非事件像素点的各邻居事件像素点的位置信息，确定出该非事件像素点的深度信息；根据双目帧图像中各像素点的深度信息，进行相应处理。利用本发明实施例，无需非事件像素点参与像素点的匹配，即使非事件像素点之间的光照强度、对比度和纹理难以区分，或者被遮挡，也可利用近邻的事件像素点的位置信息，较为精确地确定出非事件像素点的深度信息，提升非事件像素点深度信息的精度。

技术领域

本发明涉及图像处理技术领域，具体而言，本发明涉及一种图像视觉处理方法、装置及设备。

背景技术

动态视觉传感器(Dynamic Vision Sensor，DVS)是一种新型的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器。与传统的CMOS或电荷耦合元件(Charge-coupled Device，CCD)传感器生成的图像不同，DVS可以根据场景光照变化强度大小而产生事件，即将光照强度变化使得对比度变化超过设定阈值的像素点作为事件像素点，将对比度变化未超过设定阈值的像素点作为非事件像素点，从而生成DVS图像。

在对象识别、场景三维建模、图像渲染、立体电视、辅助驾驶等应用中，广泛应用基于双目DVS图像的图像视觉处理方法。

现有的图像视觉处理方法，通常需要获取双目DVS帧图像(简称双目帧图像)，包括：利用左目DVS摄像头拍摄并生成的左目帧图像，及利用右目DVS摄像头拍摄并生成的右目帧图像；确定出双目帧图像中左目帧图像的像素点与右目帧图像中相匹配的像素点之间的视差，根据确定出的视差，确定出相匹配的像素点的深度信息。其中，主要利用基于局部特征相似性、非局部特征相似性或全局特征相似性的帧图像匹配技术来确定左目帧图像与右目帧图像的像素点之间的视差。

然而，本发明的发明人发现，DVS产生的事件像素点具有数量少(即稀疏)、左右DVS摄像头产生的事件像素点分布和数量不一致等特点。因此，左目帧图像和右目帧图像中大部分区域的像素点都是非事件像素点。

一方面，由于非事件像素点的对比度变化较小，尤其遇到光照强度较大(例如逆光)或较弱的场景(例如夜间或昏暗的室内)，非事件像素点之间的对比度差异较小，非事件像素点之间难以区分，利用现有的图像视觉处理方法，在左、右目帧图像的非事件像素点与非事件像素点之间、或者事件像素点与非事件像素点之间进行匹配时，非常容易出现误匹配；另一方面，当帧图像中存在重复的纹理结构时，例如棋盘格纹理，由于纹理的重复性，使得一目帧图像中的非事件像素点在另一目帧图像中存在多个可匹配的像素点，非常容易出现误匹配。毫无疑问，根据误匹配的非事件像素点确定出的深度信息是错误的，该非事件像素点很可能成为噪点，大大降低了整个帧图像的像素点的深度信息的精度。给后续基于帧图像的像素点的深度信息的处理操作造成不良影响，甚至导致后续基于像素点深度信息的相应处理操作失败。

此外，由于现有的图像视觉处理方法，需要双目帧图像中的像素点匹配后，才能计算相匹配的像素点的视差和深度信息。然而，由于某些场景(例如近景拍摄、微距拍摄)中不同拍摄对象之间的遮挡，导致双目帧图像之间不完全一致，即一目帧图像中的某些非事件像素点在另一目帧图像中并不存在可匹配的像素点，利用现有的图像视觉处理方法，无法确定出这些无法匹配的非事件像素点的深度信息，这些非事件像素点很可能成为噪点，大大降低了整个帧图像的像素点的深度信息的精度。给后续基于帧图像的像素点的深度信息的处理操作造成不良影响，甚至导致基于像素点深度信息的相应处理操作失败。

发明内容

本发明针对现有方式的缺点，提出一种图像视觉处理方法、装置及设备，用以解决现有技术存在非事件像素点的深度信息精度低下的问题，以提升非事件像素点的深度信息的精度。

本发明的实施例根据第一个方面，提供了一种图像视觉处理方法，包括：