[发明专利]基于数字孪生场景的低延时远程遥控方法和系统

说明书

本发明公开了一种基于数字孪生场景的低延时远程遥控方法和系统，通过在仿真中构建与现实场景一致的场景，传输在行驶过程中车辆的定位信息，将该信息在仿真器中可视化显示出来，通过观察可视化的仿真环境，从而直接遥控仿真环境中的车辆，而实际的遥控指令仍然传输给实际车辆，实际车辆更新定位信息，从而更新仿真器中车辆的定位信息，当定位频率足够高，就可以获得低延时的远程遥控实现。本发明由于传输的数据只需要传输是车辆的定位信息，不需要使用5G网络传输也可以做到极低的延迟，能够迅速得对车辆在场景中的信息进行反应。

技术领域

本发明属于自动驾驶中的人工远程干预技术领域，具体涉及一种基于数字孪生场景的低延时远程遥控方法和系统。

背景技术

在自动驾驶中，由于目前L4/L5级别的自动驾驶并不能完全实现，许多情况下，自动驾驶车辆面对自己未知的情况，并不能很好做出判断，进入原地待命状态，这种情况下就需要人工远程遥控的介入。远程遥控，意味着操作者需要通过对车辆所在的环境有相应的信息输入，从而控制车辆，通过网络传输遥控指令，使得车辆运行。而远程遥控中，主要需要解决的问题一个是传输车辆所处环境对应的信息时，传输数据的时间延迟要低，需要对车辆目前的状态进行实时的监控；另一个就是传输数据的数据量，尽可能压缩传输数据量，使得远程遥控传输的数据不会大量得占据网络，造成网络拥塞。

目前主要针对远程遥控，主要的技术方案，如百度、华为、阿里提供的远程遥控方案中，主要是通过5G网络降低相机采集数据传输时延，将获取的摄像头数据显示在屏幕，远程驾驶员通过屏幕数据来控制车辆的运行。在审定授权的专利CN202021585796.9《一种基于5G网络的挖掘机远程遥控系统》中，5G通信模块主要用于采集视频图像，并且接受遥控指令对挖掘机进行控制。其中仍然使用网络传输巨大数据量的视频流数据，假设画面的帧率为20帧，一帧画面为800*600大小，YUV420每帧图像的大小即为90KB大小，一秒钟需要的流量为1.8MB，一分钟的流量就接近了100MB，从计算上来看，维持远程遥控需要的数据量是非常惊人的。另外，视频数据的采集和编码到音视频的解码和播放涉及了非常长的链路，经历了采集端的音视频采集、音视频编码、推流，以及流媒体服务器端的直播流收集、音视频转码、直播流分发，以及接收端的拉流、音视频解码、音视频播放，其中的各个环节会通过一定技术保证数据传输的质量，为了确保可靠性、降低系统带宽而使用的手段导致了视频传输过程中高延迟的问题，一般来说，局域网内，该延迟在30帧的数据采集量下达到1秒，这是远程遥控过程中无法接受的。在其中如果添加许多优化的环节，在调研中，可以获得的数据是奥维视讯公司推出的5G融合通讯产品，将1080p视频的双向对传延迟控制在100ms，还是存在一定的延迟。

综上所述，现有的方法存在的主要不足包括:

1.在远程遥控视频数据传输过程中，传输的数据过大，导致网络带宽占用过大，导致网络拥塞；

2.在远程遥控数据传输过程中，由于中间过程中存在延迟，而在4G的技术条件下，该延迟是不能接受的。即使有5G技术加持，在目前的技术条件下，仍然存在一定延迟，在远程遥控中使用存在一定安全隐患。

发明内容

为了克服传统自动驾驶远程遥控中，在车辆行驶过程中对车辆周围信息采集传输存在较大延迟的问题，本发明提供了一种基于数字孪生场景的低延时远程遥控方法和系统，通过在仿真中构建与现实场景一致的场景，只需传输在行驶过程中车辆的定位信息，将该信息在仿真器中可视化显示出来，驾驶者可以通过观察可视化的仿真环境，从而直接遥控仿真环境中的车辆，而实际的遥控指令仍然传输给实际车辆，实际车辆更新定位信息，从而更新仿真器中车辆的定位信息，当定位频率足够高，就可以获得低延时的远程遥控实现。

本发明的技术方案如下：

本发明首先提供了一种基于数字孪生场景的低延时远程遥控方法，其包括如下步骤：