[发明专利]全景显示系统在AR眼镜上的实时传输与监控的方法

说明书

本发明公开了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、udp/rtsp全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。

技术领域

本发明涉及全景显示技术领域，具体地，涉及一种全景显示系统在AR眼镜上的实时传输与监控。

背景技术

随着工业技术、计算机技术和网络技术等的不断发展，产品逐步向智能化方式转变，使得各领域发生了巨大的变化。全景作为一门新型显示技术，已经在多个应用领域得到使用。全景显示设备安装在汽车上可以观察到汽车的盲点区域，有效地减少交通事故的发生；全景设备在监控上也有着重大的作用，全景设备因具备采集画面视野广的特点，有效地对多个区域实时监控。即便全景显示设备有如此多的优势，但其也有自身的不足之处，一般设备里装载的全景显示系统只能在固定的显示器上显示，不具备可移动性，机动性能较差，并且无法很好的和AR眼镜相结合，即使有相关的尝试，也不能保证系统能够稳定有效地实时传输全景视频画面到AR眼镜上并通过头部姿态对其控制。

因此，急需要提供一种可以稳定、有效的将全景实时画面传输到AR眼镜移动端并通过头部姿态估计观察全景画面的各个方位的方法来解决上述技术难题。

发明内容

本发明的目的是提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。

为了实现上述目的，本发明提供了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：

步骤1、安装摄像头；

步骤2、进行全景画面实时拼接和unity多形状动态贴图；

步骤3、对场景对象进行渲染；

步骤4、UDP/RTSP全景画面传输；

步骤5、实现头部姿态、眼动、语音和手势控制视角画面；

步骤6、最终设备间同步显示全景实时画面并协同控制。

优选地，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。

优选地，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。

优选地，步骤3包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。

优选地，步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。