[发明专利]一种立体图像变焦方法有效
申请号: | 201811037756.8 | 申请日: | 2018-09-06 |
公开(公告)号: | CN109413404B | 公开(公告)日: | 2019-10-25 |
发明(设计)人: | 邵枫;费延佳;李福翠 | 申请(专利权)人: | 宁波大学 |
主分类号: | H04N13/106 | 分类号: | H04N13/106;H04N13/128 |
代理公司: | 宁波奥圣专利代理事务所(普通合伙) 33226 | 代理人: | 周珏 |
地址: | 315211 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种立体图像变焦方法,其根据用户指定的聚焦深度获得左、右视点图像中的每个四边形网格的期望网格;然后提取左、右视点图像中的所有四边形网格对应的目标四边形网格的边缘弯曲能量、落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量和立体质量能量、落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量,并通过优化使得总能量最小,进而获取立体图像的左视点图像和右视点图像中的每个四边形网格的最佳目标四边形网格,并通过双线性插值得到变焦后的左、右视点图像,这样可使得变焦后的立体图像能够保留精确的对象形状和准确的目标聚焦深度,具有近距离观看的沉浸感、具有较高的深度感。 | ||
搜索关键词: | 四边形网格 右视点图像 立体图像 网格 变焦 目标四边形 聚焦 近距离观看 左视点图像 背景区域 边缘弯曲 对象形状 用户指定 质量能量 最佳目标 坐标偏移 沉浸感 双线性 总能量 保留 期望 优化 | ||
【主权项】:
1.一种立体图像变焦方法,其特征在于包括以下步骤:步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值;步骤二:将{L(x,y)}分割成M个互不重叠的尺寸大小为22×22的四边形网格,将{L(x,y)}中的第k个四边形网格记为UL,k;然后根据{L(x,y)}中的所有四边形网格和{dL(x,y)},获取{R(x,y)}中的所有互不重叠的尺寸大小为22×22的四边形网格,将{R(x,y)}中的第k个四边形网格记为UR,k;其中,符号为向下取整运算符号,k为正整数,1≤k≤M,UL,k通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示UL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,UR,k通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示UR,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值;采用尺度不变特征转换提取出{L(x,y)}中的所有特征点,将{L(x,y)}中的第q个特征点记为然后根据{L(x,y)}中的每个特征点和{dL(x,y)},获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点,将{R(x,y)}中与匹配的特征点记为其中,q为正整数,1≤q≤Q,Q表示{L(x,y)}中的特征点的总个数,也表示{R(x,y)}中的特征点的总个数,表示的横坐标位置,表示的纵坐标位置,表示的横坐标位置,表示{dL(x,y)}中坐标位置为的像素点的像素值,表示的纵坐标位置,步骤三:根据用户指定的聚焦深度偏移量,计算{L(x,y)}中的每个四边形网格的期望网格,将UL,k的期望网格记为其中,通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示各自的期望网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,f表示相机的焦距,e表示待处理的立体图像的左视点与右视点之间的水平基线距离,Δz表示用户指定的聚焦深度偏移量;根据用户指定的聚焦深度偏移量,计算{R(x,y)}中的每个四边形网格的期望网格,将UR,k的期望网格记为其中,通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示各自的期望网格顶点,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值,以的水平坐标位置和垂直坐标位置来描述,表示{dL(x,y)}中坐标位置为的像素点的像素值;步骤四:{L(x,y)}中的每个四边形网格对应有目标四边形网格,将UL,k对应的目标四边形网格记为同样,{R(x,y)}中的每个四边形网格对应有目标四边形网格,将UR,k对应的目标四边形网格记为其中,通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示各自的目标网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示各自的目标网格顶点,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,以的水平坐标位置和垂直坐标位置来描述,步骤五:计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的边界弯曲能量,记为Eline;步骤六:用户通过编辑操作手工选择对象,然后根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格的期望网格,计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量,记为Ecorr;步骤七:根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有特征点,计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的立体质量能量,记为Edepth;步骤八:根据{L(x,y)}中落于背景区域内的所有四边形网格及其对应的目标四边形网格、{R(x,y)}中落于背景区域内的所有四边形网格及其对应的目标四边形网格,计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量,记为Eback;步骤九:根据Eline、Ecorr、Edepth和Eback,计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量,记为Etotal,Etotal=λ1Eline+λ2Ecorr+λ3Edepth+λ4Eback;然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合,对应记为及接着计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,将UL,k对应的最佳目标四边形网格的仿射变换矩阵记为并计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,将UR,k对应的最佳目标四边形网格的仿射变换矩阵记为其中,λ1、λ2、λ3、λ4均为加权参数,min()为取最小值函数,表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合,表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合,表示UL,k对应的最佳目标四边形网格,表示UR,k对应的最佳目标四边形网格,通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点,通过其左上、左下、右上和右下4个网格顶点的集合来描述,表示UR,k对应的最佳目标四边形网格,对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点,(AL,k)T为AL,k的转置,((AL,k)TAL,k)‑1为(AL,k)TAL,k的逆,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,(AR,k)T为AR,k的转置,((AR,k)TAR,k)‑1为(AR,k)TAR,k的逆,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置,和对应表示的水平坐标位置和垂直坐标位置;步骤十:根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,计算{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置,将UL,k中水平坐标位置为x'L,k和垂直坐标位置为y'L,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置,获取变焦后的左视点图像,记为其中,1≤x'L,k≤W,1≤y'L,k≤H,1≤x'≤W',1≤y'≤H,W'表示变焦后的立体图像的宽度,变焦后的立体图像的高度为H,表示中坐标位置为(x',y')的像素点的像素值;同样,根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,计算{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置,将UR,k中水平坐标位置为x'R,k和垂直坐标位置为y'R,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置,获取变焦后的右视点图像,记为其中,1≤x'R,k≤W,1≤y'R,k≤H,1≤x'≤W',1≤y'≤H,表示中坐标位置为(x',y')的像素点的像素值。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于宁波大学,未经宁波大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811037756.8/,转载请声明来源钻瓜专利网。