[发明专利]使用超声深度感测的光流成像系统以及方法

说明书

一种光流成像系统，具有用于生成包括深度数据的图像的超声阵列，以及用于制造与使用该系统的方法。所述光流成像系统包括设置在外壳上的超声传感器阵列，所述超声传感器阵列包括超声发射器和多个超声传感器。所述光流成像系统还包括设置在所述外壳上与所述超声传感器位于平行平面上且可操作地连接至所述超声传感器的红绿蓝(RGB)相机组件。因此，所述光流成像系统有利地相较于常规系统在广泛的光照条件下使成像改进。

技术领域

本公开通常涉及数字成像、计算机视觉以及超声感测，且更具体地但不排他地，涉及光流成像系统以及方法。

背景技术

红、绿、蓝加深度(RGB-D)相机是能产生三维图像(平面二维图像加上深度图图像)的相机。常规RGB-D相机具有两种不同的传感器群组。群组之一包括光接收传感器(诸如RGB相机)，所述光接收传感器用于接收环境图像，所述环境图像常规地采用三种颜色：R(红色)、G(绿色)和B(蓝色)的各自强度值来表示。另一传感器群组包括红外激光或结构化光传感器，用于检测被观察物体的距离(或深度)(D)以及获取深度图图像。所述RGB-D相机的应用包括空间成像、姿势识别、距离检测以及类似应用。

一种类型的RGB-D相机应用红外光源用于成像(例如，Microsoft Kinect)。这样的相机具有光源，所述光源能发射具有特定空间结构的红外光。另外，这样的相机配备有镜头和用于接收红外光的滤波芯片。所述相机的内部处理器计算所接收到的红外光的结构，且通过光结构的变化，所述处理器感知到所述物体的结构和距离信息。

常规的RGB-D相机，诸如Microsoft Kinect，利用红外光检测方法获取深度信息。但是，所述基于红外光检测的方法，在室外设置中，特别是针对被太阳光照射的物体，效果不佳，因为太阳光光谱具有强红外特征，其可以掩盖从检测器发射的红外光。一些红外光检测器试着通过增加其功率(例如，通过激光，或通过增加光源强度)来解决这种问题。但是，这种方法因为其需要极大的功耗，因此是不期望的。

光流是视觉场景中的物体、表面以及边缘因相机与所述场景之间的相对运动引起的视运动的模式。常规的光流仅能比较相对于像素域的移动，且没有用于真实世界的距离和速度。因此，常规的光流系统和方法不适用于真实世界环境的稳健应用，包括诸如无人飞行器(UAV)或其他载运工具等移动平台的导航。

综上所述，需要提供一种改进的光流成像系统以及方法，以克服上常规光流成像系统的所述障碍以及缺陷。

发明内容

一方面包括一种用于确定物理空间中的光流的方法，包括确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。在一个实施方式中，所述RGB图像数据通过RGB相机获取。在另一实施方式中，所述深度数据通过超声传感器阵列获取。

在进一步的实施方式中，所述方法还包括使用RGB相机组件和第一超声阵列生成第一RGB-D图像。在更进一步的实施方式中，所述方法还包括识别所述第一RGB-D图像的RGB部分中的多个特殊兴趣点。在一个实施方式中，所述方法还包括使用RGB相机组件和所述第一超声阵列生成第二RGB-D图像。

在另一实施方式中，所述方法还包括通过比较所述第一和第二RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在进一步的实施方式中，所述方法还包括使用所述第一和第二RGB-D图像中的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。在又一实施方式中，所述方法还包括使用所述RGB相机组件和所述第一超声阵列生成第三RGB-D图像。

在一个实施方式中，所述方法进一步包括通过比较第二和第三RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在另一实施方式中，所述方法还包括使用所述第二和第三RGB-D图像的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。