[发明专利]风格转换方法、风格转换模型的生成方法和风格转换系统

说明书

本申请提供一种风格转换方法、风格转换模型的生成方法和风格转换系统，涉及图像处理领域，可以根据用户情绪为多媒体资源添加风格。该方法包括：电子设备响应于拍摄完成操作，得到第一多媒体资源；电子设备根据用户的人脸图像确定用户的情绪特征；电子设备确定第一多媒体资源的所有原始图像的Mask图像；电子设备将第一多媒体资源对应的所有原始图像数据组，输入至风格转换模型以得到第二多媒体资源；其中，每个原始图像数据组中包括：任一原始图像、任一原始图像和对应任一原始图像的情绪特征；不同的原始图像数据组中包括的任一原始图像不同；风格转换模型具备利用待处理图像、待处理图像的Mask图像和定向情绪特征得到目标图像的能力。

技术领域

本申请涉及图像处理领域，尤其涉及一种风格转换方法、风格转换模型的生成方法和风格转换系统。

背景技术

为了提高用户的使用体验，手机、平板电脑等电子设备通常配备有拍摄功能，例如拍照或者录像等。为了带给用户更好的体验，用户在使用电子设备拍摄时或者拍摄后，电子设备还支持用户增加特定的画面风格，以得到具备特殊观感的成品(照片或视频)，以进一步提高用户的使用体验。但是这种设定方式需要用户进行相应的繁琐操作，例如第一次想要A画面风格，则需要通过实施固定的操作使拍摄的成品为A画面风格，下一次想要B画面风格，则需要实施相关操作，用户的交互体验不够好。

发明内容

本申请实施例提供一种风格转换方法、风格转换模型的生成方法和风格转换系统，可以根据用户情绪为多媒体资源自动添加符合用户情绪的画面风格，提高用户的使用体验。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请提供了一种风格转换方法，应用于电子设备，该方法包括：电子设备响应于拍摄完成操作，得到第一多媒体资源；电子设备根据用户的人脸图像确定用户的情绪特征；其中，用户的人脸图像是电子设备在拍摄第一多媒体资源的过程中通过前置摄像头获取的；电子设备确定第一多媒体资源的所有原始图像的掩膜Mask图像；电子设备将第一多媒体资源对应的所有原始图像数据组，输入至风格转换模型中，以得到第二多媒体资源；其中，第一多媒体资源的每个原始图像均对应一个原始图像数据组；每个原始图像数据组中包括：第一多媒体资源的任一原始图像、任一原始图像和对应任一原始图像的情绪特征；对应任一原始图像的情绪特征为用户的情绪特征中的一个；不同的原始图像数据组中包括的第一多媒体资源的任一原始图像不同；风格转换模型具备利用待处理图像、待处理图像的Mask图像和定向情绪特征，得到目标图像的能力；目标图像为待处理图像增加了与定向情绪特征对应的预设画面风格的图像。

基于上述技术方案，当用户拍摄多媒体资源时，电子设备可以根据第一多媒体资源的原始图像确定其对应的Mask图像。同时在用户拍摄过程中时会通过前置摄像头获取用户的人脸图像。最后，在拍摄完成的情况下，电子设备则可以将第一多媒体资源的原始图像、第一多媒体资源的原始图像的Mask图像以及利用用户的人脸图像得到的情绪特征，输入至提前训练的画面风格转换网络中，便可以得到第二多媒体资源。因为利用用户的人脸图像得到的情绪特征本身是可以表征用户拍摄多媒体资源时的情绪的，而画面风格转换网络又具备有利用待处理图像、待处理图像的Mask图像和定向情绪特征，得到目标图像的能力。且目标图像为原始图像增加了预设画面风格的图像，预设画面风格则可以是与定向情绪特征对应的画面风格。所以上述技术方案，可以根据用户拍摄多媒体资源时的情绪，为多媒体资源增加符合用户情绪的画面风格，且整个过程不需要用户的操作，在既减少了用户操作的情况下，还为用户提供了更符合用户情感需求的第二多媒体资源。使用户存在一种“电子设备懂我”的感受，提高了用户的使用体验。

在第一方面的一种可能的设计方式中，在第一多媒体资源为第一照片的情况下，用户的人脸图像是电子设备在响应于拍摄完成操作得到第一照片时通过前置摄像头获取的；在第一多媒体资源为第一视频的情况下，用户的人脸图像是电子设备在拍摄第一视频的过程中时通过前置摄像头获取的。