[发明专利]图像处理方法和双摄像头系统

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取同一时刻待拍摄场景通过双摄像头系统中的第一摄像头形成的第一图像中的关键点描述子构成的第一集合，以及所述待拍摄场景通过所述双摄像头系统中的第二摄像头形成的第二图像中的关键点描述子构成的第二集合；

基于关键点描述子的相似性，将所述第一集合和所述第二集合中相匹配的关键点配对成关键点对，其中，所述第一集合中配对的关键点与所述第二集合中配对的关键点一一对应，每个所述关键点对包含所述第一集合中的一个关键点及其在所述第二集合中相匹配的关键点；

根据所述第一图像和所述第二图像的深度信息选择符合预定条件的所述关键点对，其中，所述第一图像和所述第二图像的深度信息用于描述所述第一图像和所述第二图像中的像素点在所述待拍摄场景对应的空间位置的深度；

所述第一图像和所述第二图像的深度信息包括所述第一图像的第一类区域和第二类区域的信息，以及所述第二图像的第一类区域和第二类区域的信息，其中，所述第一类区域为像素点的深度大于或等于预定阈值的区域，所述第二类区域为像素点的深度小于该预定阈值的区域；

所述预定条件为：所述关键点对中属于所述第一图像的关键点位于所述第一图像的第一类区域，且属于所述第二图像的关键点位于所述第二图像的第一类区域，或者所述关键点对中属于所述第一图像的关键点位于所述第一图像的第二类区域，且属于所述第二图像的关键点位于所述第二图像的第二类区域，则选择所述关键点对；

根据选择的所述关键点对生成图像对齐向量场，所述图像对齐向量场是由所述第一图像的像素点相对于所述第二图像对应的像素点的图像对齐向量构成的向量场，其中，所述第一图像的第一像素点相对于所述第二图像的第二像素点的图像对齐向量为所述第二像素点的坐标减去所述第一像素点的坐标后得到的向量；

根据所述第一图像和所述第二图像的深度信息估算所述第一图像和所述第二图像中的遮挡区域，并消除所述遮挡区域在所述图像对齐向量场中的对齐向量，形成修正后的图像对齐向量场，其中，所述第一图像的遮挡区域的图像在所述第二图像中不可见，所述第二图像的遮挡区域的图像在所述第一图像中不可见。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像的深度信息估算所述第一图像和所述第二图像中的遮挡区域包括：

确定所述第一图像的第一类区域与所述第二图像的第二类区域重叠的区域为所述遮挡区域，和/或确定所述第二图像的第二类区域与所述第一图像的第一类区域重叠的区域为所述遮挡区域。

3.如权利要求1或2所述的方法，其特征在于，所述根据选择的所述关键点对生成图像对齐向量场包括：

根据选择的所述关键点对中属于所述第二图像的关键点构建多个德洛内三角形；

根据选择的所述关键点对中所述第一图像的关键点的坐标和所述第二图像的关键点的坐标确定所述多个德洛内三角形每个顶点的图像对齐向量；

基于所述多个德洛内三角形每个顶点的图像对齐向量计算所述第二图像中每个像素点的图像对齐向量，以形成所述图像对齐向量场。

4.如权利要求3所述的方法，其特征在于，所述基于所述多个德洛内三角形每个顶点的图像对齐向量计算所述第二图像中每个像素点的图像对齐向量包括：

对于所述多个德洛内三角形中第一德洛内三角形内的像素点P的图像对齐向量V，用公式表示，其中，

像素点P1、P2、P3分别为所述第一德洛内三角形内的顶点坐标，为二维直角坐标，向量V1、V2、V3分别为像素点P1、P2、P3的图像对齐向量，Pi·Pj表示坐标Pi和Pj的点积。

5.如权利要求3所述的方法，其特征在于，所述基于所述多个德洛内三角形每个顶点的图像对齐向量计算所述第二图像中每个像素点的图像对齐向量包括：

对于所述多个德洛内三角形中最外围的第二德洛内三角形的延长线与所述第二图像的边界构成的多边形内的像素点P的图像对齐向量V，用公式表示，其中，

像素点P1、P2、P3分别为所述第二德洛内三角形内的顶点坐标，为二维直角坐标，向量V1、V2、V3分别为像素点P1、P2、P3的图像对齐向量，Pi·Pj表示坐标Pi和Pj的点积。