[发明专利]一种基于人像分割的视频处理方法、系统和存储介质

说明书

本发明提供一种基于人像分割的视频处理方法、系统和存储介质，所述方法包括：接收视频流输入并读入一帧原始图像；对所述原始图像进行人像分割处理，得到对应的二值化灰度图；采用光流法或时域滤波法对所述二值化灰度图进行优化处理，得到新的二值化灰度图；将新的二值化灰度图与所述原始图像进行融合，得到结果图像。本发明基于光流方法和时域滤波方法，能够有效解决现有的视频云会议中经过人像分割后出现视频中人像边缘闪烁以及人像与背景衔接处出现微小的分割错误问题，并可以使虚拟背景的边缘细粒度分割有明显的提升。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于人像分割的视频处理方法、系统和存储介质。

背景技术

视频云会议中的虚拟背景主要用于用户由于个人隐私或所处位置比较敏感时需要将背景信息用已有的图像或视频替换，简称虚拟化。云会议中虚拟背景的功能主要是对视频中的每一帧基于Image Matting(人像分割)生成的二值化灰度图Alpha(一般人像区域为255，背景区域为0，人像与背景交集边缘处为0-255)，将当前帧与所要替换的背景图进行融合，最终得到想要的结果图或视频。

Image Matting技术指的是用于传统图像处理或深度学习CNN网络将图像的前景(255)、背景(0)以及前景与背景的衔接边缘区域(0-255)进行分离生成Alpha图，便于后续应用使用，如云会议中的虚拟背景功能。Image Matting技术不仅仅是将前景和背景或者图像中的物体进行提取得到实际分割出的物体IOU(Intersection over Union)，还需要完成前景和背景之间的衔接边缘区域处理，因为这类区域的Alpha图实际上既有前景信息又有背景信息，所以无法简单的将其完全分离为前景与背景。

现有的Image Matting基本都是针对于图像级的(空域)，主要分成两大类，第一类传统图像处理方法，第二类是基于深度学习CNN网络。

基于传统图像处理方法主要有区域增长、分裂、图割、轮廓模型。其中区域增长、分裂则是通过一些种子点，再加上相似性准则来不断扩充区域直到达到类别的边界，直到分割结果完善，典型方法为分水岭算法。所谓的图割则是通过建立一张图，其中以图像像素或者超像素作为图像顶点，然后优化的目标就是要找到一个切割，使得各个子图不相连从而实现分割，前提是移除边的和权重最小，典型的方法有Graphcut。所谓的轮廓模型通过使用连续曲线来表达目标轮廓，并定义一个能量泛函，其自变量为曲线，将分割过程转变为求解能量泛函的最小值的过程，典型的方法有snake模型。

基于深度学习CNN网络主要是基于Encoder和Decoder模型以及外接对边缘修正的小模型进行端到端的输出。Encoder主要是学习图像中的多层高维特征，Decoder主要是通过将学习到的高维特征与低维特征以及原图进行融合学习上采样至原图大小，得到最终所需的输出，外接对边缘修正小模型主要是对输出的Alpha图细节，如头发丝，细小边缘等区域进行精调，典型的网络有FCN、Deep Image Matting等。

现有的各种Image Matting算法对于单幅图像都可以通过调节参数或CNN网络训练达到预期的效果，但是这种方式对于视频中基于Image Matting的应用无法达到很好的观看质量。

(1)传统图像处理方法对于视频中不同的图像难以调节参数，造成所需结果对于不同图像效果不一。

(2)基于深度学习CNN网络的方法直接应用于视频时，由于视频每帧之间光照、场景、主体之间都会有细微的变化，且上述方法无法做到百分百的准确度，这样会导致视频中连续帧之间的一些人像边缘会出现多余或缺失，同时在合成新的视频帧后会在视频播放时发生闪烁现象。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种基于人像分割的视频处理方法、系统和存储介质。

为了实现上述目的，本发明第一方面提出了一种基于人像分割的视频处理方法，其特征在于，所述方法包括：