[发明专利]实时视频处理方法、装置、电子设备及存储介质

说明书

本申请提供了一种实时视频处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取实时视频信息和预设背景，所述实时视频信息是摄像头拍摄人物得到的；针对所述实时视频信息的每一帧实时图像，从所述实时图像中获取人物轮廓区域，以及根据所述实时图像获取手势信息；从所述实时图像中获取所述人物轮廓区域对应的部分图像，记为人物部分；将所述人物部分显示在所述预设背景中；基于所述手势信息生成控制指令或者不执行任何操作，所述控制指令用于控制以下至少一种操作：所述预设背景的播放操作；所述人物部分在所述预设背景中的移动操作；所述人物部分在所述预设背景中的缩放操作。该方法可以实现人物与演讲内容之间的互动。

技术领域

本申请涉及图像处理技术领域，尤其涉及实时视频处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前鼠标是我们和计算机“沟通和交流”的主要接口之一，但是这个沟通方式远远不能满足我们的要求，我们希望有更简洁的、智能化和人性化的人机交互方式。

手势是一种自然、直观、易于学习的人机交互手段。手势识别技术一直是人机交互的一个重要研究课题，以人手作为直接输入，人机之间的通讯将不再需要中间媒体，用户可以简单地定义各种适当的手势来对计算机进行控制，从而可以实现非接触式的鼠标控制事件。与其它输入方法相比较，具有自然性、简洁性、丰富性和直接性的特点。

现有的视频处理方法有的基于手势识别来模拟鼠标的操作，该方法的不足之处在于用户仍需采用操作实体鼠标的手势来操作虚拟鼠标，使用者的体验较差。

在会议场景或直播场景时，由于在场观众与主讲人或主播距离很远，现有技术往往简单的把主讲人或主播的图像投屏到屏幕上，再用另外的屏幕显示演讲内容，也就是说，需要通过不同的显示装置分别显示主讲人和演讲内容，观众很难同时关注到演讲内容与主讲人或主播的形象，观众的观看体验较差；另外，主讲人或主播与演讲内容无法直接互动，当主讲人需要控制演讲内容的播放时，需要通过鼠标或者激光笔操作，操作较为不便。

发明内容

本申请的目的在于提供实时视频处理方法、装置、电子设备及计算机可读存储介质，适用范围广，可以将人物部分显示在预设背景中，并实现人物与演讲内容之间的互动，提升受众的使用体验。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种实时视频处理方法，所述方法包括：获取实时视频信息和预设背景，所述实时视频信息是摄像头拍摄人物得到的；针对所述实时视频信息的每一帧实时图像，从所述实时图像中获取人物轮廓区域，以及根据所述实时图像获取手势信息；从所述实时图像中获取所述人物轮廓区域对应的部分图像，记为人物部分；将所述人物部分显示在所述预设背景中；基于所述手势信息生成控制指令或者不执行任何操作，所述控制指令用于控制以下至少一种操作：所述预设背景的播放操作；所述人物部分在所述预设背景中的移动操作；所述人物部分在所述预设背景中的缩放操作。该技术方案的有益效果在于，一方面，可以根据实时视频信息得到实时图像，获取实时图像中的人物部分，将人物部分显示在预设背景中，预设背景可以是图片、PPT、视频等，该方法可以应用于大型会议现场、发布会现场、直播室等场景，适用范围广，可以利用该方法将报告人、发言人、主播、演讲人的形象抠取出来嵌入到演讲内容中，实时投屏到屏幕上，使得在场观众可以同时关注屏幕内容与该人物的形象，实现较佳的视听效果；另一方面，可以根据实时图像获取手势信息，基于该手势信息生成控制指令，实现人物与演讲内容之间的互动，控制指令可以用于控制预设背景的播放，无需利用鼠标等电子设备控制预设背景的播放，操作更为直接、简便，提升人物、观众、使用者等受众的使用体验，控制指令还可以用于控制人物部分在预设背景中的大小和/或位置，可以将人物部分移动至需要提示的指定区域，还可以实时缩小人物部分或者放大人物部分，避免人物部分过大时遮挡住预设背景中的重要内容或者人物部分过小时观众无法看清人物，智能化程度高。