[发明专利]一种融入稀疏匹配信息的立体图像同步分割方法

摘要

本发明涉及一种融入稀疏匹配信息的立体图像同步分割方法。首先输入一组立体图像，通过提取特征点并匹配的方法得到立体图像之间的稀疏匹配对应点。然后，在其中一图中通过笔刷勾画的方式，指定部分前、背景。根据指定部分分别建立前、背景的颜色分布的先验统计模型。以此为基础，在图割理论框架下形式化对应关系约束以及颜色、梯度等约束，构造能量函数。最后，采用图的最大流/最小割算法求解最优化结果。若用户没有得到理想的效果，还可以继续对图中错误区域进行勾画，直到得到理想结果。与现有方法相比，在同样的交互量的前提下，本发明的分割效果更好。

主权项

一种融入稀疏匹配信息的立体图像同步分割方法，其特征在于包括以下步骤：步骤一，读入图像，对左右视图中的关键特征点进行提取和匹配；步骤二，添加前、背景线索；通过所设计的界面指定部分前、背景像素；利用鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；步骤三，定义前、背景颜色先验模型；用F表示用户指示的前景像素集合，用B表示用户指示的背景像素集合；前、背景的颜色模型可采用高斯混合模型、直方图、颜色类簇模型，通过F与B中的像素颜色值的集合拟合或统计得到；采用K‑means聚类方法对F与B中的像素的颜色值分别进行聚类，得到Nc个前景颜色类簇Mc个背景颜色类簇分别表示前、背景的颜色分布统计模型；步骤四，定义能量函数；立体图像I＝{Il，Ir}可以表示成一个无向图G＝<ν,ε>；其中，ν为图G中的节点集合，ε为边的集合；图G中的每个顶点，对应立体图像I中的一个像素；图像中除集合F和集合B中的像素外，其余像素设定属于集合U；交互式立体图像同步分割是在输入的线索的约束下，为U中的每个像素pi赋予一个标签xi；xi∈{1,0}，分别表示前、背景；图G中的边包含图像内相邻像素的连接边，以及稀疏关键点匹配决定的立体图像对应点之间的连接边；求解上述二元标记问题，可视为求解使得以下能量函数最小化的标记集合：E(X)=λDΣpi∈IfD(pi,xi)+λBΣ(pi,pj)∈NBfB(pi,pj)|xi-xj|+λCΣ(pil,pjr)∈NCfC(pil,pjr)|xil-xjr|---(1)]]>其中，fD(pi,xi)为数据项，又称一元项，表示当前像素pi到前景和背景已知颜色模型的相似性，相似性越高，数值越大；fB(pi,pj)与分别是图像内二元项和图像间二元项；fB(pi,pj)反映出像素与其相邻像素之间的颜色差异，也称为梯度项；其中，NB表示的集合包含左右图中所有像素点的邻接关系，相邻元素差异越大，则该二元项的值越小，在计算最大流时，连接这两个相邻像素的边越倾向于被割去；为立体图像间的对应关系，也称为对应项；NC表示所有特征匹配对；λD,λB,λC是调节各能量项之间的权值；(1)定义颜色约束项数据项主要采用像素颜色与前、背景之间的颜色模型的距离来描述该像素与前、背景的相似性：fD(pi,xi)＝1‑Pc(xi|ci)  (2)其中，Pc(xi|ci)表示给定pi的颜色ci，该像素被标记为前、背景的概率；ci与xi对应模型的距离越小，即相似度越高，则概率值越高，pi取xi标签的可能性越大；那么，对应的能量函数项fD(pi,xi)应当越小，因此有fD(pi,xi)＝1‑Pc(xi|ci)；用类簇表达前、背景颜色模型的前提下，Pc(xi|ci)的表达式为：Pc(xi|ci)=timinsimin+timin,x=1siminsimin+timin,x=0---(3)]]>其中，simin=min(||ci-CnF||2),n=1,...,Nc]]>timin=min(||ci-CmB||2),m=1,...,Mc]]>(2)定义图像内梯度约束项梯度约束项的作用是：两相邻元素颜色越靠近，其梯度约束项的值越大，越不倾向于被分割；对梯度约束项的定义如下：fB(pi,pj)=1||ci-cj||2+1,(pi,pj)∈NB---(4)]]>(3)定义图像间对应约束项使用对应项是为了保持立体图像匹配对应像素标签(Label)的一致性；对于任意设定：fC(pil,pjr)=∞---(5)]]>即对于一对匹配对应像素，设定二者之间的边的权值为无穷大，在实际编程中，设定为一个很大的值，避免在通过最优化求解最大流时，割断这两个像素之间的边，造成对应像素标签的不一致；步骤五，求解能量函数最小值；采用图割算法，通过最优化本方法所定义的能量函数，即式(1)，得到最优的标记结果，即分割结果；如果对分割结果不满意，返回步骤二，继续添加前、背景线索；每添加一次，将触发一次分割过程；步骤六，添加对应点优化分割结果；基于当前分割结果，用户交互式对一张图像中分割正确，但在另外一张图像中分割错误的地方添加一对对应点；该交互与指定前、背景线索的交互可同时使用；进行手动匹配并不需要严格遵循极线几何的对应关系，只需要满足对应点同属于前景或者同属于背景区域即可；每添加一个对应点，会触发一次能量函数更新和图割算法求解；给定一组新的匹配对应点，用表示，令：fC(pil*,pjr*)=∞---(6)]]>该约束保证新的对应点标签一致；将该约束融合进能量函数，即式(1)，并采用图割算法重新求解，得到更新过的分割结果；步骤一所述关键特征点的描述算子包括SIFT、SURF和ORB；步骤三所述的Nc和Mc均取64；所述公式(4)也可以采用指数形式的模型。