[发明专利]基于虚拟世界的视频数据实时处理方法及装置、计算设备

说明书

本发明公开了一种基于虚拟世界的视频数据实时处理方法及装置、计算设备，其方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像，对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；绘制三维场景；从当前帧图像中提取出特定对象的关键信息，根据关键信息得到前景图像在三维场景中的位置信息；根据位置信息，将前景图像与三维场景进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示处理后的视频数据。本发明采用了深度学习方法，实现高效率高精准性地完成场景分割处理。

技术领域

本发明涉及图像处理领域，具体涉及一种基于虚拟世界的视频数据实时处理方法及装置、计算设备。

背景技术

随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。但现有录制的视频仅是单调的录制素材本身，无法满足用户提出的越来越多的个性化要求。现有技术可以在录制视频后，由用户手动对视频再做进一步的处理，以满足用户的个性化要求。但这样处理需要用户具有较高的图像处理技术，并且在处理时需要花费用户较多的时间，处理繁琐，技术复杂。

因此，需要一种基于虚拟世界的视频数据实时处理方法，以便实时满足用户的个性化要求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于虚拟世界的视频数据实时处理方法及装置、计算设备。

根据本发明的一个方面，提供了一种基于虚拟世界的视频数据实时处理方法，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；

对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；

绘制三维场景；

从当前帧图像中提取出特定对象的关键信息，根据关键信息得到前景图像在三维场景中的位置信息；

根据位置信息，将前景图像与三维场景进行融合处理，得到当前帧处理后的图像；

将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；

显示处理后的视频数据。

可选地，关键信息为关键点信息；

从当前帧图像中提取出特定对象的关键信息，根据关键信息得到前景图像在三维场景中的位置信息进一步包括：

从当前帧图像中提取出位于特定对象的关键点信息。

可选地，从当前帧图像中提取出特定对象的关键信息，根据关键信息得到前景图像在三维场景中的位置信息进一步包括：

根据特定对象的关键点信息，计算具有对称关系的至少两个关键点之间的距离；

根据具有对称关系的至少两个关键点之间的距离，得到前景图像在三维场景中的深度位置信息。

可选地，从当前帧图像中提取出特定对象的关键信息，根据关键信息得到前景图像在三维场景中的位置信息进一步包括：

根据关键点信息，获取特定对象在当前帧图像中的位置信息；

根据特定对象在当前帧图像中的位置信息，得到前景图像在三维场景中的左右位置信息。

可选地，方法还包括：

获取三维场景的地形信息；