[发明专利]基于AR技术的电视节目实时换脸方法

说明书

本发明涉及换脸技术，解决了目前电视节目换脸需要增加硬件设备，并且无法实时跟踪换脸的问题。技术方案概括为：基于AR技术的电视节目实时换脸方法，触发换脸命令后，对从当前帧开始的连续5‑10帧图像进行人脸检测，判断是否检测到主要人脸，若检测到，则将检测到的主要人脸反馈给用户，用户选择待换脸和替换脸，然后对当前播放的电视节目实时跟踪检测并换脸；触发停止换脸命令，电视继续播放原始电视节目。有益效果是：提升了观看电视节目的趣味性且不需要增加硬件设备。特别适用于对直播中的视频进行实时跟踪换脸。

技术领域

本发明涉及换脸技术，特别涉及一种基于AR技术的电视节目实时换脸技术。

背景技术

在观看电视节目的同时，如果能互动式的将电视节目中的角色换成自己、自己的亲朋好友、明星人物或动漫角色，并可保留和分享换脸后的精彩时刻，无疑会增加观看电视节目的娱乐效果和观众的代入感，同时又可以增加电视的交互性和可玩性。现有技术对图片或视频进行换脸都是基于已有的图片或视频，无法在电视节目直播中进行实时跟踪换脸，并且目前在电视上应用换脸技术的方法，需要增加额外的硬件设备，比如副显示屏，以致成本增加。

发明内容

本发明所要解决的技术问题是：在不增加电视硬件设备的前提下，实现对电视节目的实时跟踪换脸，并且增设换脸视频保存、回放、分享和附加趣味性人脸属性功能。

为解决上述技术问题，本发明采用的技术方案是：基于AR技术的电视节目实时换脸方法，包括以下步骤：

步骤1、触发换脸命令；

步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5-10帧图像进行人脸检测；

步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；

步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；

步骤5、从替换脸库中选择替换脸；

步骤6、对当前播放的电视节目实时跟踪检测并换脸；

步骤7、触发停止换脸命令，电视继续播放原始电视节目。

进一步的，步骤2包括以下步骤：

步骤201、对比人脸库用于存放检测到的主要人脸，检测开始，对比人脸库清空；

步骤202、后台图像处理系统开始逐帧检测人脸，检测到第一张人脸图像时，如果当前人脸图像尺寸小于阀值一，则丢弃，否则赋予当前人脸一个唯一的标识符作为人脸ID，并存入对比人脸库中；

步骤203、检测到下一张人脸图像，如果当前人脸图像尺寸小于阀值一，则丢弃，否则将当前人脸与对比人脸库中的人脸做相似度计算，如果在对比人脸库中找到一张相同人脸，则基于这张人脸的ID数量加一，否则将当前人脸赋予一个新的人脸ID，并存入人脸库中；

步骤204、重复步骤203，直到检测完所有帧的图像；

步骤205、计算主要人脸，用每个人脸ID的数量除以总人脸数，得到的值若大于阀值二，则此人脸为主要人脸。

进一步的，阀值一采用60×60像素，阀值二采用0.7。

进一步的，步骤6包括以下步骤：

步骤601、对当前播放的电视节目中的每一帧图像进行检测，并对比当前检测出的人脸与待换脸是否为同一人，如果是同一人，则计算并保存当前检测出的人脸的关键属性，如果不是同一人，则直接播放原始帧；

步骤602、计算并保存替换脸的关键属性，将待换脸与替换脸同类型的关键属性一一对应地映射到替换脸中，实时显示在电视屏幕里；