[发明专利]一种基于多任务深度学习的无绿幕人像实时抠图算法

说明书

本发明公开了一种基于多任务深度学习的无绿幕人像实时抠图算法，包括：原始数据集二分类调整，输入包含人像信息的图像或视频，预处理；构建人体目标检测深度学习网络，通过深度残差神经网络提取图像特征，并通过逻辑回归得到人像前景扩展候选框ROI Box和扩展候选框中的人像三元图trimap；构建人像Alpha掩码抠图深度学习网络，通过编码器共享机制有效地加速了网络的计算过程，并通过端到端的方式输出人像前景Aplha掩码预测结果实现了人像抠图效果。本方法在人像抠图过程中，成功摆脱了绿幕的使用限制，其次抠图过程中不需要提供人工标注的人像三元图，只需提供原始图像或者视频即可，给用户的使用提供了极大的便利。

技术领域

本发明涉及深度学习、目标检测、三元图trimap自动生成以及人像前景Aplha掩码抠图技术领域，具体涉及一种基于多任务深度学习的无绿幕人像实时抠图算法。

背景技术

近年来由于互联网信息时代飞速发展，人类日常生活中无处不在的充斥着大量数字内容。在这海量的数字内容当中，数字图像信息包括图像与视频，凭借着其传达信息直观易懂、内容形式丰富多样等优点逐渐成为信息传播的重要载体。时代的进步催生了众多的互联网内容生产机构乃至个人创作者，然而数字图像信息的编辑处理较为复杂困难，相关行业存在着一定的准入门槛，往往需要从业人员耗费大量的人力与时间成本进行内容创作。因此，人们对于高效率、易入门的内容生产手段的需求也愈加迫切。数字图像抠图技术就是数字图像信息编辑处理技术中关键的研究内容之一。

数字图像抠图技术的主要目的是分离图像或者视频当中的前景与背景画面，从而实现高精度的前景提取与虚拟背景替换工作。其中，人像抠图作为数字图像抠图的主要应用领域，早在二十世纪中旬就伴随着电影产业的制作需求应运而生。利用人像抠图技术，早期电影特效就可以提取演员的人物形象，并与虚拟的场地背景进行合成制作。经过几十年的产业科技发展，综合运用数字图像抠图的影视特效技术能够在降低内容制作成本保证参演人员安全的同时，给观众带来扣人心弦的收视体验，人像抠图技术已经成为电影电视节目制作环节中不可替代的一部分。

在早期的研究当中，数字人像抠图技术需要用户提供先验的背景知识。在传统的影视制作当中通常采用与人体皮肤以及服装色彩差异较大的纯色绿幕或者蓝幕作为拍摄场地背景，通过对比被摄主体与背景的像素差别，从而完成人像抠图工作。然而，专业绿幕背景的架设水平要求高，且对场地光照条件限定严格，一般用户很难以较低的成本使用绿幕技术。而随着数字时代快速发展，大众对于数字人像抠图技术的需求更加广泛地拓展到图片编辑和网络会议等场景当中，以满足自身对于娱乐性、隐私保护等多方面的需求。数字人像抠图技术的研究经过数十年的发展，也取得了十分瞩目的成就。然而现有算法主要存在着三类不足。首先部分研究需要提供人工交互标注的人像三元图trimap，构造三元图的工作消耗大量人力与时间。其次绝大部分研究算法耗时较长，每秒处理图像帧数较低无法实现人像的实时抠图效果。最后已有运算较快的人像抠图算法通常需要提供一张包含被摄主体与一张同一背景下不包含被摄主体的场景照片，限制了算法的使用场景。

发明内容

本发明针对现有技术的不足，针对数字图像抠图技术问题，提出了一种基于多任务深度学习的无绿幕人像实时抠图算法。

本发明提出了一种基于多任务深度学习的无绿幕人像实时抠图算法，围绕复杂自然环境下人像抠图过程中的人体目标检测、三元图生成和人像Alpha掩码抠图等关键技术，实现了在缺少专业绿幕设备条件下的无门槛实时自动人像自动抠图功能。本发明可应用于网络会议、摄影编辑等应用程序当中，为一般用户提供便捷的数字人像抠图服务。

本发明的目的是通过以下技术方案来实现：

一种基于多任务深度学习的无绿幕人像实时抠图算法，包括以下步骤：

第1步：对原始的多分类多目标检测数据集进行二分类调整，输入调整后的数据集图像或视频文件(即输入包含人像信息的图像或视频)，对图像或视频进行对应的数据预处理，得到原始输入文件的预处理数据；