[发明专利]用于处理图像和确定对象的视点的方法和系统

说明书

一种用于处理图像的系统和方法，包括将图像输入到神经网络(1)，神经网络被配置为：获得(2)多个特征图(4a，…，4f)，每个特征图具有相应的分辨率和相应的深度；在每个特征图上执行(3)分类，以对于每个特征图，实现：‑在图像上可见的至少一个对象的类型，‑围绕至少一个对象的至少一个二维边界框的图像中的位置和形状，‑对于至少一个对象的至少一个可能的视点，‑对于至少一个对象的至少一个可能的面内旋转。

技术领域

本公开涉及图像处理领域，并且更确切地涉及图像上三维对象的检测。

背景技术

已经提出了在由相机获取的图像上检测三维对象。

通常，还希望获得图像上可见对象的6D姿态。“6D姿态”是本领域技术人员众所周知的指定对象的三维位置和三维方向的组合的表达。

检测对象的已知方法并不令人满意。例如，已知方法可能要求使用深度信息(例如，使用本领域技术人员称为“RGB-D”或“RGB-Depth”的图像)。已知方法也可能无法检测到特定对象，诸如具有麻烦的几何形状或纹理的对象，或者甚至小对象。

一些方法提供关于视点(在图像上看到对象的角度)或6D姿态的非常粗糙的信息。例如，一些方法仅指示从侧面或下方看到对象。

因此，需要改进的方法以处理图像，尤其是检测对象及其视点。

从现有技术中，已知以下文献：

-A.Mousavian、D.Anguelov、J.Flynn和J.Kosecka。“3D Bounding BoxEstimation Using Deep Learning and Geometry(使用深度学习和几何的3D边界框估计)”。arXiv：1612.00496，2016。

-P.Poirson、P.Ammirato、C.-Y.Fu、W.Liu、J.Kosecka和A.C.Berg。“Fast SingleShot Detection and Pose Estimation(快速单发检测和姿态估计)”。In 3DV，2016。

-W.Liu、D.Anguelov、D.Erhan、C.Szegedy、S.Reed、C.-y.Fu、和A.C.Berg。“SSD:Single Shot MultiBox Detector(SSD：单发MultiBox检测器)”。In ECCV，2016。

发明内容

本公开通过提出用于处理图像的方法克服现有技术的一个或更多个缺陷，该方法包括将图像输入神经网络，该神经网络被配置为：

获得多个特征图，每个特征图具有相应分辨率和相应深度，

对每个特征图执行分类，以对于每个特征图，实现(deliver)：

-在图像上可见的至少一个对象(一个或多个对象)的类型，

-围绕至少一个对象的至少一个二维边界框的图像中的位置和形状，

-对于至少一个对象的至少一个可能的视点，

-对于至少一个对象的至少一个可能的面内旋转。

举例来说，图像可以是彩色图像，诸如技术人员已知的RGB(红-绿-蓝)图像。

特征图是向量的矩阵，表达分辨率针对于矩阵的分辨率并且深度与矩阵的向量的深度有关。

在本申请中使用的表达“神经网络”可以覆盖多个已知网络的组合。例如，可以使用第一子网来执行获得多个特征图的步骤。技术人员将知道使用哪个子网以获得具有相应的分辨率和相应的深度的特征图。

执行分类的步骤也可以由第二子网执行。对于每个特征图，技术人员将知道使用哪个子网以实现：