[发明专利]一种多视点视频对象提取方法

摘要

本发明公开了一种多视点视频对象提取方法，其通过纹理边缘检测、最大类间方差法提取多视点视频中的彩色视频帧的纹理信息和亮度信息，并利用多视点视频中的彩色视频帧对应的深度视频帧，采用前背景分割法获取彩色视频帧的前背景信息，然后将纹理信息、亮度信息和前背景信息相融合得到彩色视频帧的精细掩膜，最后通过运动信息和深度信息进一步地修正得到彩色视频帧最终的对象掩膜，由于本发明方法有效利用了多视点视频的纹理、亮度、深度、运动等多种信息，通过发掘它们之间各自的特性，取长补短，将多种信息有机地融合在一起，因此能够快速分割并提取得到符合人眼视觉感知的精准的视频对象，能够较好地满足多视点视频编码对对象提取方法的要求。

主权项

1.一种多视点视频对象提取方法，其特征在于包括以下步骤：①定义多视点视频中当前正在处理的视点为当前视点，定义当前视点的彩色视频序列中t时刻的彩色视频帧为当前彩色视频帧，记为C_t，定义当前视点的深度视频序列中对应的t时刻的深度视频帧为当前深度视频帧，记为D_t；②采用帧间差分运算计算当前彩色视频帧C_t的帧差图，记为K′_t，Kt′(x,y)=1,if|Ct(x,y)-Ct-1(x,y)|≥Thresholdm0,if|Ct(x,y)-Ct-1(x,y)|<Thresholdm,]]>然后对当前彩色视频帧C_t的帧差图K′_t进行N×N块化，得到当前彩色视频帧C_t的二值运动区域图，记为K_t，其中，K′_t(x，y)表示当前彩色视频帧C_t的帧差图K′_t中坐标位置为(x，y)的像素点的像素值，C_t(x，y)表示当前彩色视频帧C_t中坐标位置为(x，y)的像素点的像素值，C_t-1(x，y)表示当前视点的彩色视频序列中t-1时刻的彩色视频帧C_t-1中坐标位置为(x，y)的像素点的像素值，“||”为取绝对值符号，Threshold_m为第一判定阈值，1≤x≤W，1≤y≤H，W表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的宽度，H表示多视点视频的彩色视频序列中的彩色视频帧和深度视频序列中的深度视频帧的高度，N为一常数，1×1＜N×N＜W×H；③对当前彩色视频帧C_t提取纹理边缘，得到当前彩色视频帧C_t的二值纹理区域图，记为S_t，将当前彩色视频帧C_t的二值纹理区域图S_t中坐标位置为(x，y)的像素点的像素值记为S_t(x，y)，如果S_t(x，y)＝1，则表示当前彩色视频帧C_t中坐标位置为(x，y)的像素点属于纹理区域，如果S_t(x，y)＝0，则表示当前彩色视频帧C_t中坐标位置为(x，y)的像素点属于非纹理区域，其中，1≤x≤W，1≤y≤H；④采用最大类间方差法分割当前彩色视频帧C_t，得到当前彩色视频帧C_t的二值背景对象区域图，记为O_t，Ot(x,y)=1,ifCt(x,y)≥Thresholdβ0,ifCt(x,y)<Thresholdβ,]]>其中，O_t(x，y)表示当前彩色视频帧C_t的二值背景对象区域图O_t中坐标位置为(x，y)的像素点的像素值，1≤x≤W，1≤y≤H，Threshold_β为采用最大类间方差法得到的亮度分割阈值；⑤对当前深度视频帧D_t进行前背景区域划分，得到当前彩色视频帧C_t的粗略前背景区域图，记为F′_t，Ft′(x,y)=1,ifDt(x,y)≥Thresholdd0,ifDt(x,y)<Thresholdd,]]>然后对当前彩色视频帧C_t的粗略前背景区域图F′_t进行N×N块化，得到当前彩色视频帧C_t的前背景区域图，记为F_t，其中，F_t′(x，y)表示当前彩色视频帧C_t的粗略前背景区域图F_t′中坐标位置为(x，y)的像素点的像素值，D_t(x，y)表示当前深度视频帧D_t中坐标位置为(x，y)的像素点的像素值，Threshold_d为第二判定阈值，k₂为对当前深度视频帧D_t的前背景区域进行划分的视觉加权值，0.85≤k₂≤1.5，1≤x≤W，1≤y≤H，N为一常数，1×1＜N×N＜W×H；⑥将当前彩色视频帧C_t的二值纹理区域图S_t、当前彩色视频帧C_t的二值背景对象区域图O_t以及当前彩色视频帧C_t的粗略前背景区域图F′_t相融合，得到当前彩色视频帧C_t的粗略掩膜，记为I_t，然后对当前彩色视频帧C_t的粗略掩膜I_t进行N×N块化和形态学的膨胀、腐蚀处理，得到当前彩色视频帧C_t的精细掩膜，记为P_t，其中，N为一常数，1×1＜N×N＜W×H；⑦对当前彩色视频帧C_t的精细掩膜P_t与当前彩色视频帧C_t的二值运动区域图K_t进行或操作，然后对或操作后得到的图像与当前彩色视频帧C_t的前背景区域图F_t进行与操作，得到当前彩色视频帧C_t粗略的对象掩膜，记为ROI′_t，ROI′_t＝(P_t∪K_t)∩F_t，再去除当前彩色视频帧C_t粗略的对象掩膜ROI′_t中的小块连通区域，得到当前彩色视频帧C_t最终的对象掩膜，记为ROI_t，其中，“∪”表示或操作，“∩”表示与操作。