[发明专利]一种保护前端安全的远程指导方法和系统

说明书

本发明公开了一种保护前端安全的远程指导方法和系统，前端增强现实设备和后端专家设备通过具有3个传输层的信息交互链路交互信息；根据用户的选定，前端增强现实设备可以禁止视频层和/或音频层的传输，但必须保证交互数据的传输。后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角；后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。使用本发明，能够在受限的条件下依然完成指导任务，保护前端的信息安全，而且前后端专家设备双方明确信息指代，提高远程指导的有效性。

技术领域

本发明涉及增强现实的技术领域，具体涉及一种保护前端安全的远程指导方法和系统。

背景技术

增强现实远程指导系统是为了解决让远端的专家可以具有像现场的工作人员一样身临其境的体验，并给与现场工作人员最直接、最准确的结合现场实景的指导。

在前端工作的时候，很多时候会遇到前端人员无法解决的问题，这个时候就需要向后端专家请教了。目前可以通过语音交互(电话)，或者视频+语音交互(实时视频)来实现目标。但是这两种方式会很有局限性：

其一、前后端人员交互会很不方便，信息指代不明确。专家仅通过语言很难让前端用户明确的获知自己应该怎么操作。

其二、对于通过音频和视频传输的方案，等于将前端的所有情况都毫无保留的展示给后端。如果前端用户场景涉及隐私问题，或者涉及商业秘密、国家秘密，不方便后端专家看到的时候，将导致大量前端用户隐私被泄露，造成用户安全隐患。

发明内容

有鉴于此，本发明提供了一种保护前端安全的远程指导方法和系统，能够在受限的条件下依然完成指导任务，保护前端的信息安全，而且前后端专家设备双方明确信息指代，提高远程指导的有效性。

为了解决上述技术问题，本发明是这样实现的。

一种保护前端安全的远程指导方法，前端增强现实设备和后端专家设备通过具有3个传输层的信息交互链路交互信息，3个传输层分别是视频层、音频层和数据层，分别用于传输视频信息、音频信息和交互数据；该方法包括如下步骤：

步骤一、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；前端增强现实设备采集真实场景的视频信息、音频信息以及交互数据；前端增强现实设备的交互数据包括表征前端增强现实设备视角的信息，以及表征虚拟模型变化的信息；

步骤二、根据用户选定的传输层，前端增强现实设备利用3层信息交互链路中的1层或1层以上进行信息传输；选定的传输层至少包括数据层；

步骤三、后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；如果接收到音、视频，将重构的指导对象和指导动画叠加到视频中，播放音频；

步骤四、后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。

优选地，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息。

优选地，所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换；所述语音指导信息通过语音层同步至前端增强现实设备进行播放；所述数字指导信息通过数据层同步至前端增强现实设备。

优选地，前端增强现实设备和后端专家设备配置有相同的指导步骤；指导步骤按顺序执行，每个指导步骤对应不同的指导动画，前端增强现实设备和后端专家设备通过数据层同步当前指导步骤，同步播放对应的指导动画。