[发明专利]基于增强现实的远程交互方法、系统及电子设备

权利要求书

1.一种基于增强现实的远程交互方法，应用于第一终端，其特征在于，所述方法包括：

将求助视频发送至第二终端；

接收第二终端发送的在所述求助视频上勾画的轨迹数据，所述轨迹数据包括轨迹的平面坐标数据和/或颜色数据；

在第一终端支持增强现实软件开发包组件的情况下，根据所述轨迹的平面坐标数据计算所述轨迹的三维坐标数据；

调用所述增强现实软件开发包组件，根据所述三维坐标数据和所述颜色数据，在第一终端屏幕上虚拟呈现包含第二终端用户勾画的三维轨迹及轨迹颜色的画面。

2.根据权利要求1所述的方法，其特征在于，在所述接收第二终端发送的在所述求助视频上勾画的轨迹数据之后，所述方法还包括：

在第一终端不支持所述增强现实软件开发包组件的情况下，将所述轨迹数据保存为各个帧图像；

根据所述轨迹的平面坐标数据对各个所述帧图像进行图像裁减，得到裁减帧图像；

调用第一终端的开源计算机视觉库组件，获取所述裁减帧图像在所述求助视频中的图像位置数据；

根据所述图像位置数据和所述颜色数据，在第一终端屏幕上虚拟呈现包含第二终端用户勾画的三维轨迹及轨迹颜色的画面。

3.根据权利要求1所述的方法，其特征在于，在所述将求助视频发送至第二终端之前，所述方法还包括：

通过目标检测算法对目标样本进行标记及训练，得到训练特征文件；

将所述训练特征文件加载到第一终端，得到目标检测模块。

4.根据权利要求3所述的方法，其特征在于，所述接收第二终端发送的在所述求助视频上勾画的轨迹数据，包括：

接收第二终端发送的勾画后的求助视频；

将所述勾画后的求助视频发送至所述目标检测模块，得到所述勾画后的求助视频中勾画的轨迹的平面坐标数据和/或颜色数据。

5.根据权利要求1所述的方法，其特征在于，所述将求助视频发送至第二终端，包括：

在第一终端连接网络的情况下，调用图像采集设备实时采集当前帧画面发送至第二终端，并通过网页及时通信与所述第二终端建立视频语音实时通讯通道。

6.根据权利要求1所述的方法，其特征在于，所述将求助视频发送至第二终端，包括：

在第一终端未连接网络的情况下，调用图像采集设备拍摄视频，并在拍摄过程中进行标记和录音；

将拍摄的所述视频、标记和录音进行视频合并，得到求助视频；

在第一终端连接网络的情况下，将所述求助视频发送至第二终端。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在第一终端连接网络的情况下，根据所述网络的信号强度调整帧画面的分辨率和帧率。

8.一种基于增强现实的远程交互系统，应用于第一终端，其特征在于，所述系统包括：

发送模块，用于将求助视频发送至第二终端；

接收模块，用于接收第二终端发送的在所述求助视频上勾画的轨迹数据，所述轨迹数据包括轨迹的平面坐标数据和/或颜色数据；

计算模块，用于在第一终端支持增强现实软件开发包组件的情况下，根据所述轨迹的平面坐标数据计算所述轨迹的三维坐标数据；

调用模块，用于调用所述增强现实软件开发包组件，根据所述三维坐标数据和所述颜色数据，在第一终端屏幕上虚拟呈现包含第二终端用户勾画的三维轨迹及轨迹颜色的画面。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。