[发明专利]一种基于美学的立体图像内容编辑方法

摘要

本发明公开了一种基于美学的立体图像内容编辑方法，其通过提取立体图像的左视点图像和右视点图像对应的图像质量能量、图像美学能量和深度适应能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得内容编辑后的立体图像能够保留精确的对象形状、具有较高的美观度、具有较高的深度感；其通过优化立体图像中的聚类对象的三分法则能量、视觉平衡能量、对角优势能量和对象缩放能量，进而控制聚类对象中的Delaunay网格的形变，从而能够保证内容编辑后的立体图像的视觉美观度。

主权项

1.一种基于美学的立体图像内容编辑方法，其特征在于包括以下步骤：步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤二：采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SM_L(x,y)}；然后根据{SM_L(x,y)}和{d_L(x,y)}，获取{L(x,y)}的视觉显著图，记为{S_L(x,y)}；再根据{S_L(x,y)}和{d_L(x,y)}，获取{R(x,y)}的视觉显著图，记为{S_R(x,y)}；其中，SM_L(x,y)表示{SM_L(x,y)}中坐标位置为(x,y)的像素点的像素值，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，S_R(x,y)表示{S_R(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤三：将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格，将{L(x,y)}中的第k个Delaunay网格记为U_L,k，U_L,k以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格，将{R(x,y)}中的第k个Delaunay网格记为U_R,k，U_R,k以其3个网格顶点构成的集合来描述，其中，k为正整数，k的初始值为1，1≤k≤M，k同时作为{L(x,y)}中的第k个Delaunay网格的标记和{R(x,y)}中的第k个Delaunay网格的标记，M表示{L(x,y)}中包含的Delaunay网格的总个数，也表示{R(x,y)}中包含的Delaunay网格的总个数，M＞1，对应表示U_L,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，对应表示U_R,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；步骤四：采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割，得到{L(x,y)}中的所有聚类对象，进而得到{L(x,y)}中的每个聚类对象的对象掩膜，将{L(x,y)}中的第n个聚类对象的对象掩膜记为O_n；其中，n为正整数，n的初始值为1，1≤n≤N，N表示{L(x,y)}中的聚类对象的总个数；并采用Hough变换对{L(x,y)}进行线段检测，检测得到{L(x,y)}的多条分割线；步骤五：{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将U_L,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{L(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^‑1为(A_L,k)^TA_L,k的逆；同样，{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将U_R,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{R(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^‑1为(A_R,k)^TA_R,k的逆；步骤六：根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，并结合{S_L(x,y)}和{S_R(x,y)}，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量，记为E_IQ；依据计算摄像美学规则，并根据{L(x,y)}中的所有聚类对象的对象掩膜和{L(x,y)}的多条分割线，计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像美学能量，记为E_AE；计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的深度适应能量，记为E_DA；步骤七：根据E_IQ、E_AE和E_DA，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量，记为E_total，E_total＝λ_IQ×E_IQ+λ_AE×E_AE+λ_DA×E_DA；然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格，将U_L,k对应的最佳目标Delaunay网格记为将U_R,k对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为其中，λ_IQ为E_IQ的加权参数，λ_AE为E_AE的加权参数，λ_DA为E_DA的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；步骤八：根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容编辑后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值；同样，根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容编辑后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，表示中坐标位置为(x',y')的像素点的像素值。