[发明专利]一种适用于移动端的实时人体抠图方法

说明书

本发明公开了一种适用于移动端的实时人体抠图方法，包括以下步骤：S1：数据集准备，包括数据采集和数据标注；S2：构建分割网络输入所述数据集；S3：构建轻量级U型分割网络；S4：构建分割网络的损失函数；S5：对网络进行反向传播，更新网络参数，获取训练好的分割模型。本发明无需人工干预，所设计的抠图网络，具有轻量化的特点，非常适用于移动端应用部署，可以满足视频流的实时抠图需求，可以生成精确平滑的人像掩膜，用于图像后期处理。

技术领域

本发明涉及计算机视觉和计算机图形学领域，尤其涉及一种适用于移动端的实时人体抠图方法。

背景技术

抠图是图像或者视频处理中经常用到的一项技术，是把前景目标从原始图片中分离出来，为后期合成做准备。其中，人像抠图已经在影视、直播、远程会议和在线教学等场景中得到广泛应用。借助于人像抠图技术，将人物实时、准确的从背景图片中分离开来，进而实现精细化的背景虚化或者逼真的影视特效等。

目前在影视制作过程中，应用最广泛的抠图技术是绿幕抠图；绿幕抠图用纯绿色或蓝色作为背景颜色，并要求对现场进行均匀打光，防止出现阴影或色差，进而对场景中的物品或人物进行分割。绿幕抠图对拍摄现场，后期处理专业要求较高，但是能保证较好的抠图质量，满足影视要求。

深度学习作为近几年兴起的AI技术，在图像，语音和文本等领域展现了强有力的优势，在日常生活和业界受到广泛的应用和关注。深度学习在人像分割也方面取得了许多成果。在专利CN104156959A中，利用Graph-Cut和预设人体区域进行像素分类；利用预设人体轮廓确定感兴趣区域，存在先天缺陷，应用面狭窄；其次该方法计算速度慢，无法达到移动端实时处理要求，而且不适用于动态背景抠图。在专利CN106530309A中，提出移动端抠图方法，需要事先采集一张背景图作为先验知识，该方法不能处理动态背景视频。CN107481261A的方法需要用户标记第一帧图像且依赖于深度图。在专利CN109377498A中，设计一种用户交互式的抠图方法，利用VGG16作为骨干网络，计算量大。专利CN110197490A提出一种自动人像抠图算法，该方法需首先进行人脸关键点检测，无法实现端到端的图像处理，难以达到移动端的实时要求。

在移动端进行实时人像抠图，需要在处理速度和精度之间进行权衡。一方面，因为移动端算力有限，移动端的解决方案需要满足轻量化要求，才能保证处理过后的视频播放流畅、无卡顿；另一方面，在保证帧率的基础上，仍需要保证生成的人像质量。

因此，本领域的技术人员致力于开发一种适用于移动端的实时人体抠图方法，设计一种轻量化、端到端的神经网络，实现在移动端进行实时人像抠图。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术的缺陷，能够在移动端进行实时人像抠图。

为实现上述目的，本发明提供了一种适用于移动端的实时人体抠图方法，实现抠图全自动，无人工处理；实现了轻量化网络，适用于移动端，适合图片和视频流实时处理，抠图质量高、平滑。

在本发明的较佳实施方式中，本发明提供了一种适用于移动端的实时人体抠图方法，包括以下步骤：

S1：数据集准备，包括数据采集和数据标注；

S2：构建分割网络输入所述数据集；

S3：构建轻量级U型分割网络；

S4：构建分割网络的损失函数；

S5：对网络进行反向传播，更新网络参数，获取训练好的分割模型。

进一步地，所述步骤S1中的数据采集，还包括：搜集包含多张人像数据的数据集，所述数据集包含室内和室外多种生活场景、人体的不同姿态，不同年龄段和肤色的人群；所述数据集包含的人像数据为单人图像。