[发明专利]基于增强现实的视频实时录制方法及录制设备

说明书

本发明实施例提供了一种基于增强现实的视频实时录制方法及录制设备。所述录制设备，包括AR引擎和3D引擎，其中：所述AR引擎，用于接收图像信息，识别所述图像信息中的目标物体，并提取所述目标物体的属性信息，将所述目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎，所述环境内容包括所述目标物体所处的环境信息；所述3D引擎，用于接收所述AR引擎发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，将所述虚拟内容中需要录制的内容与所述环境内容进行叠加，形成交互内容，以使所述交互内容能被合成为图像，以及将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过显示单元显示出来。

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的视频实时录制方法及录制设备。

背景技术

AR(Augmented Reality，增强现实)技术是一种全新的人机交互技术，通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR应用进行体验。具体的，AR应用的工作流程如下：智能终端通过摄像头拍摄图像帧，对图像帧进行识别，确定AR目标物体；对图像帧中的AR目标物体进行跟踪，确定AR目标物体的位置，获取与所述AR目标物体相关联的AR虚拟内容，对图像帧进行渲染，将所述AR虚拟内容叠加在AR目标物体上进行显示，在终端屏幕上同时显示AR目标物体和AR虚拟内容以供用户进行交互。

目前在AR处理技术中，不但能对一帧或者一副静态的图像上叠加虚拟的内容，而且也可以在已经录制的视频上叠加虚拟内容。

在现有技术中，将录制的视频上叠加虚拟内容一般是先录制一段视频，然后再将需要叠加的虚拟内容叠加到录制好的视频中，通过后期制作的方式将虚拟内容叠加到录制好的视频中，然后再呈现给用户，但无法实现在录制的过程中实时叠加虚拟内同。

因此，在目前的视频AR处理技术中，视频录制者并不清楚虚拟内容的呈现形式、出现时间、动作节奏，因此录制的视频很难跟虚拟内容有机的结合并实现互动。

发明内容

本发明提供了一种基于增强现实的视频实时录制方法及录制设备，将目标物体的环境内容与虚拟内容叠加后，不仅能实现实时录制，而且还能将叠加后的内容实时显示在显示单元上，不但能实现将虚拟内容和录制视频有机结合，并且还能实现与虚拟内容进行互动。

本发明实施例提供了一种录制设备，包括AR引擎和3D引擎，其中：

所述AR引擎，用于接收图像信息，识别所述图像信息中的目标物体，并提取所述目标物体的属性信息，将所述目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎，所述环境内容包括所述目标物体所处的环境信息；

所述3D引擎，用于接收所述AR引擎发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，所述3D引擎使用空白的中间态离屏图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息和虚拟内容的图像信息，完成对所述中间态离屏图像的渲染，形成交互内容，以使所述交互内容能被合成为图像，将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过显示单元显示出来；所述共享的模式包括使用ShareContext共享两端的绘制目标，或者EglImage共享两端的绘制目标。

优选地，所述3D引擎具体用于：

在第一绘制目标上绘制环境内容的图像信息，在第二绘制目标绘制虚拟内容中需要录制的内容的图像信息，然后将所述第一绘制目标和第二绘制目标叠加，完成对所述中间态离屏图像的渲染；或者

在同一个绘制目标上先绘制所述环境内容的图像信息，再绘制所述虚拟内容中需要录制的内容的图像信息，完成对所述中间态离屏图像的渲染；或者