[发明专利]视频会议中的背景修改

说明书

用于实时视频处理的方法和系统能用于视频会议以修改背景的图像质量。一种示例方法包括以下步骤：接收包括一系列图像的视频；识别一个或多个所述图像中的至少一个感兴趣的对象(例如面部)；检测所述至少一个感兴趣的对象的特征参考点；以及跟踪所述视频中的所述至少一个感兴趣的对象。所述跟踪可以包括将虚拟面部网格对准一个或多个所述图像中的所述至少一个感兴趣的对象。此外，通过基于所述虚拟面部网格从每个图像中分离出所述至少一个感兴趣的对象，识别所述图像中的背景。然后，通过模糊、改变分辨率、颜色或其它参数，修改每个所述图像中的背景。

本申请是申请号为201680028853.3的中国专利申请的分案申请，原申请的申请日为2016年03月18日，优先权日为2015年03月18日，进入中国国家阶段的日期为2017年11月17日，发明名称为“视频会议中的背景修改”。

优先权要求

本申请要求2016年1月4日提交的美国申请第14/987,514号的优先权，美国申请第14/987,514号是2015年3月18日提交的美国申请第14/661,367号的延续，它们中的每一者的全部内容通过引用并入本文。

技术领域

本公开一般地涉及视频会议，并且更具体地，涉及用于基于识别和跟踪视频中的参与者来修改视频流中的场景背景的系统和方法。

背景技术

如今，视频会议和视频电话呼叫是用于执行长距离双向视频和音频通信的流行工具。由于高速网络解决方案的出现、廉价的硬件组件和蜂窝网络的部署，这项技术已经迅速发展。通常，视频会议允许两个或更多个体使用多种软件应用(诸如，视频聊天应用)彼此进行通信，其中参与者能在交谈的同时看见彼此。视频聊天能够作为可下载软件应用或Web服务在通用计算机、移动设备和电视系统上使用。传统视频会议每一方的硬件要求包括：输入音频模块(例如，话筒)、输入视频模块(例如，摄像机)、输出音频模块(例如，扬声器)、输出视频模块(例如，显示器或投影机)、以及计算设备，所述计算设备将输入输出模块绑定在一起、压缩和解压缩音频和视频流、以及经由通信网络发起和保持数据链接。

尽管视频会议解决方案已经存在很多年了，但视频流仍会存在问题，特别是在拥塞网络的情况下。当特定网络中的服务质量(QoS)显著下降时，视频会议在及时传送视频方面遇到困难，这可能引起不希望的中断或音频和视频质量的显著劣化。因此，在本领域中仍然需要改进视频会议技术。

发明内容

通常，本公开涉及用于视频会议的技术，所述技术跟踪个体的面部，并且以比剩余视频图像更高的质量来传送具有与面部关联的图像部分的视频流。在各种实施例中，所述技术允许修改场景背景(例如，通过模糊)并且使与面部关联的前景保持初始质量。最终，因为经修改的视频具有更低的数据率，所以这导致视频会议所需的网络要求的降低。根据网络拥塞情况，此技术允许改进视频会议解决方案、降低视频流中的中断次数、并且防止视频流劣化。

根据所述技术的一个方面，提供一种用于实时视频处理的计算机实现的方法。所述方法可以包括：接收包含一系列图像的视频；识别一个或多个所述图像中的至少一个感兴趣的对象；检测所述至少一个感兴趣的对象的特征参考点；以及跟踪所述视频中的所述至少一个感兴趣的对象。所述跟踪可以包括创建虚拟面部网格(本文为了简单，也称为“网格”)和/或基于所述特征参考点将所述网格对准一个或多个所述图像中的所述至少一个感兴趣的对象。此外，所述方法继续以便：通过基于所述网格从每个图像中分离出所述至少一个感兴趣的对象，识别一个或多个所述图像中的背景；修改每个所述图像中的背景以生成经修改的背景；以及生成包括所述至少一个感兴趣的对象和所述经修改的背景的经修改的视频。

在一些实施例中，在所述经修改的视频中，所述经修改的背景具有第一图像质量，并且在所述经修改的视频中，所述至少一个感兴趣的对象具有第二图像质量，其中所述第一图像质量低于所述第二图像质量。