[发明专利]在多相机/麦克风系统中应用风格转移函数的系统和方法

说明书

本文公开了在多相机/麦克风系统中应用风格转移函数的系统和方法。示例多相机风格转移系统包括：至少一个存储器；系统中的指令；以及处理器电路，用于执行指令以至少将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像。参考图像对应于来自第一视频馈送的第一图像。第一视频馈送来自第一相机。第二视频馈送来自第二相机。处理器电路还执行指令以基于风格化图像来调整视频过滤器的一个或多个参数设置，并且使用具有调整后的参数设置的视频过滤器来过滤第二视频馈送以生成第二视频馈送的过滤后版本。

技术领域

本公开总体上涉及多传感器系统，更具体而言，涉及用于在多相机系统和多麦克风系统中应用风格转移函数(style transfer function)的系统和方法。

背景技术

现今，多传感器系统被用于许多环境中。例如，直播者常常利用多个相机和/或多个麦克风。直播者可以在流媒体会话期间在某些相机和/或麦克风之间进行切换，以向其观众进行广播。多相机和/或多麦克风系统也被用于其他场景中，例如视频会议、体育比赛广播，等等。

发明内容

根据本公开的第一方面，提供了一种多相机风格转移系统，包括：至少一个存储器；所述系统中的指令；以及处理器电路，用于执行所述指令以至少执行以下操作：将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像，所述参考图像对应于来自第一视频馈送的第一图像，所述第一视频馈送来自第一相机，所述第二视频馈送来自第二相机；基于所述风格化图像来调整视频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的视频过滤器来过滤所述第二视频馈送以生成所述第二视频馈送的过滤后版本。

根据本公开的第二方面，提供了一种非暂时性计算机可读存储介质，包括指令，所述指令在被执行时，使得至少一个处理器至少执行以下操作：将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像，所述参考图像对应于来自第一视频馈送的第一图像，所述第一视频馈送来自第一相机，所述第二视频馈送来自第二相机；基于所述风格化图像来调整视频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的视频过滤器来过滤所述第二视频馈送以生成所述第二视频馈送的过滤后版本。

根据本公开的第三方面，提供了一种多麦克风风格转移系统，包括：至少一个存储器；所述系统中的指令；以及处理器电路，用于执行所述指令以至少执行以下操作：将风格转移函数应用于来自第二音频流的第二音频剪辑以基于参考音频剪辑生成风格化音频剪辑，所述参考音频剪辑对应于来自第一音频流的第一音频剪辑，所述第一音频流来自第一麦克风，所述第二音频流来自第二麦克风；基于所述风格化音频剪辑来调整音频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的音频过滤器来过滤所述第二音频流以生成所述第二音频流的过滤后版本。

附图说明

图1图示了示例多相机系统，该示例多相机系统包括实现根据本公开的教导而构造的示例多相机风格转移系统的示例电子设备。

图2示出了可以在图1的示例电子设备的示例显示器上显示的示例用户界面。

图3A、图3B和图3C示出了来自图1的示例多相机系统的不同相机的示例图像。

图4是图1的示例多相机风格转移系统的框图。

图5A和图5B示出了可以由图1的示例多相机系统转移系统实现的示例分割过程。

图6是示例多麦克风系统的框图，该示例多麦克风系统包括根据本公开的教导构造的示例多麦克风风格转移系统。

图7是代表可以由示例处理器电路执行以实现图4的示例多相机风格转移系统的示例机器可读指令和/或示例操作的流程图。

图8是代表可以由示例处理器电路执行以实现图6的示例多麦克风风格转移系统的示例机器可读指令和/或示例操作的流程图。