[发明专利]一种基于损失函数的视频图像分割稳定性提升方法

说明书

本发明公开了基于损失函数的目标分割稳定性提升方法，包括以下步骤：S1，模拟视频序列；S2，训练模型；S3，预训练模型微调；S4，引入稳定性损失调整模型。本发明实例针对深度学习方案构建的检测器不但提高了精度，并且在可视化验证下对于连续帧中的相同目标在边界处的一致性显著提升，减少了大量误分割和孔洞漏分割，提高了静态图像训练的模型在视频数据下的分割稳定性，有效的缓解了视频分割的抖动问题。在损失函数中引入了稳定性损失，提高了分割的精度，实现了对于视频数据分割精度的优化。

技术领域

本发明属于视频图像目标分割领域，涉及一种基于损失函数的视频图像分割稳定性提升方法。

背景技术

分割技术的迭代更新使得图像分割有了突飞猛进的进展，以往使用数字图像处理、拓扑学以及数学等理论的传统分割方法的效果已远远落后于基于卷积神经网络和深度学习的分割方法，深度学习分割方法逐渐取代传统方法应用于显示生活中的各行各业。图像分割作为一项基础的图像理解任务已经深入日常生活。

随着越来越多大批量的人工标注数据集的诞生，例如ImageNet classification等，卷积神经网络在计算机视觉许多基础领域展现出了出色的效果。但是对于视频分析类任务，建立一个完备的逐像素密集型人工标注数据集的代价十分庞大。以视频目标分割距离，给定一帧或者几帧目标实例的分割掩码估计，需在接下来的视频片段中准确的分割同一实例，与目标跟踪相比，数据集的标注难度大及逐像素的跟踪无疑带来了巨大的挑战。昂贵的标注人力、较窄的覆盖面以及标注质量的粗糙性导致了训练的模型无法得到精细稳定的分割结果，常常体现在边缘像素的抖动或不精准。现有的一些分割稳定性提升方法，一方面从后处理角度考虑，CRF等算法通过减弱颜色空间中特征之间的相关性以优化边缘但是较长的耗时和算法的局限性制约了该类方法的应用面。诸多算法尝试调整下采样层和损失层以获得精确的边界，即使这些算法都获得了很好的精度和性能，但是当以序列形式预测视频中的每一帧时，通常会在边界处出现抖动问题或者不对齐的失真现象。

发明内容

为解决上述问题，本发明的技术方案为一种基于损失函数的视频图像分割稳定性提升方法，包括以下步骤：

S1，模拟视频序列：通过线性几何变换模拟目标的运动，模拟视频序列之间存在的运动特征，采用自监督方式，不引入额外标注信息；

S2，训练模型：使用ImageNet数据训练基础模型的参数，使模型拥有图像分类先验信息，并在此基础上进行微调，其后使用验证集调节模型的相关超参数，从而确定出最终检测器的最优超参数；

S3，预训练模型微调：使用测试数据验证训练好的模型的性能，对模型的检测效果进行可视化，针对不同情况以及不同场景下的空洞和漏分割，采取相应优化措施，对目标分割效果优化；

S4，引入稳定性损失调整模型：对图像引入扰动模拟目标运动生成不同视角的图片，来微调S3中得到的网络，实现底层分割目标，减少孔洞以及漏分割，增强分割边界的一致性。

优选地，所述线性几何变换包括旋转、缩放和平移。

优选地，所述引入稳定性损失调整模型中对扰动图像进行视角对齐包括以下步骤：

对原图像通过矩阵变换实现大扰动效果，矩阵记为T_b；

对原图像通过矩阵变换实现小扰动效果，矩阵记为T_S；

将不同大小扰动增广后的图像与原图在batch_size维度叠加，组成3*batch_size大小的输入图像，输入网络进行前向传播，将大扰动的预测结果通过变换矩阵映射为原图对应视角后，利用T_S变换矩阵对齐小扰动视角。