[发明专利]基于背景建模和能量最小化的复杂背景实时替换方法

摘要

本发明提出了一种基于背景建模和能量最小化的复杂背景实时替换方法。该方法首先利用提出的融合背景模型将当前帧图像分割成前景、背景和未知标签三类像素集，然后在动态图切框架下，根据颜色和对比度信息构造目标能量函数，设计了基于时间连续性信息的融合背景模型的数据项和基于局部二值模式的对比度平滑项，最后通过图切算法极小化能量函数求取所有像素的二值标签；采用了边界平滑和α值估计等后处理方法，使得分割出的前景目标无缝地融合到虚拟背景中。实验结果表明该方法能较好地将复杂背景中的目标实时分割出来并真实地合成到虚拟背景中。本发明的特点是自动、实时分割复杂背景，将其替换为虚拟背景，得到高质量的虚拟效果序列图。

主权项

一种基于背景建模和能量最小化的复杂背景图像实时替换方法，其特征是，首先采用提出的融合背景模型将视频中的每一帧图像三分为背景区域、前景区域及未知区域；其次利用颜色和空间对比度特征构建目标能量函数，采用动态图切的方法求取目标能量函数极值，从而将每一帧图像实时分割为前景和背景；最后采用基于频率滤波的边界平滑方法和阿拉法透明度(alpha)值估计等后处理方法，使分割出的前景目标无缝地融合到虚拟背景中；具体包括如下步骤：步骤1：系统首先获取视频流数据，学习视频流数据的图像的背景，建立该图像基于亮度的特征背景模型和基于色度的高斯模型，对两个模型进行线性融合，得到对光线具有抗干扰能力、具备模型更新特征、像素级的融合背景模型；依据融合背景模型，将每帧图像像素分为前景、背景和未知类型三类标签；步骤2：根据步骤1在视频当前帧中，系统已确定部分像素具备明确的前景/背景类型归属；对于哪些未知类型的像素，利用融合背景模型的时间颜色特征和基于局部二值模式的空间对比度特征，构造基于时空信息的目标能量函数，以通过步骤3确定未知标签像素的前景或背景类型；步骤3：根据基于最大流和最小割理论的动态图切算法求取步骤2建立的目标能量函数的极值，得到二值化的分割标签；因此，当前帧的所有像素已具备明确的背景或前景标签；步骤4：对前景目标分割结果进行后处理：利用区域标识和形态学滤波后处理算法去除分割结果的噪声和隙缝，并设计基于傅立叶变换的频率滤波平滑前景边界，得到最终的背景分割结果；步骤5：为将分割出来的前景目标无缝地融合到虚拟背景中，求解前景边界阿拉法透明度值以实现前景目标边界的羽化效果；并依据阿拉法透明度值将分割得到的真实背景替换成虚拟的背景图片，以生成具有虚拟背景的视频效果。