[发明专利]基于场景分割的人物装扮方法及装置、计算设备

权利要求书

1.一种基于场景分割的人物装扮方法，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；

将所述当前帧图像输入至第二神经网络中进行场景分割，得到所述特定对象的面部待装扮区域图像；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；

对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；

将帧处理图像覆盖所述当前帧图像得到处理后的视频数据；

显示处理后的视频数据。

2.根据权利要求1所述的方法，其中，所述对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：

从所述特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息；

根据所述关键信息，计算面部待装扮区域的各比例信息；

根据各比例信息，调整所述面部待装扮区域中的五官和/或脸型，并与当前帧图像进行融合处理，得到处理后的帧图像。

3.根据权利要求1所述的方法，其中，所述对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像进一步包括：

根据所述特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图；

将所述美妆效果贴图与当前帧图像进行融合处理，得到处理后的帧图像。

4.根据权利要求3所述的方法，其中，所述根据所述特定对象的面部待装扮区域图像，绘制对应的美妆效果贴图进一步包括：

从所述特定对象的面部待装扮区域图像中提取出面部待装扮区域的关键信息，根据所述关键信息绘制对应的美妆效果贴图。

5.根据权利要求4所述的方法，其中，所述关键信息为关键点信息；

所述根据所述关键信息绘制对应的美妆效果贴图进一步包括：

查找与所述关键点信息对应的基础美妆效果贴图；或者，获取用户指定的基础美妆效果贴图；

根据所述关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；

依据所述位置信息，对所述基础美妆效果贴图进行处理，得到美妆效果贴图。

6.根据权利要求5所述的方法，其中，所述依据所述位置信息，对所述基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：

依据所述位置信息中的距离信息，对所述基础美妆效果贴图进行缩放处理。

7.根据权利要求5或6所述的方法，其中，所述依据所述位置信息，对所述基础美妆效果贴图进行处理，得到美妆效果贴图进一步包括：

依据所述位置信息中的旋转角度信息，对所述基础美妆效果贴图进行旋转处理。

8.一种基于场景分割的人物装扮装置，其包括：

获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；

分割模块，适于将所述当前帧图像输入至第二神经网络中进行场景分割，得到所述特定对象的面部待装扮区域图像；其中，所述第二神经网络利用预先训练的第一神经网络的至少一层中间层的输出数据进行指导训练得到，所述第一神经网络的层数多于所述第二神经网络的层数；

美化模块，适于对所述特定对象的面部待装扮区域图像添加美化效果，并与当前帧图像进行融合处理，得到处理后的帧图像；

覆盖模块，适于将帧处理图像覆盖所述当前帧图像得到处理后的视频数据；

显示模块，适于显示处理后的视频数据。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于场景分割的人物装扮方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于场景分割的人物装扮方法对应的操作。