[发明专利]作业机械的辅助影像生成方法、远程操控方法及其装置

说明书

本发明提供一种作业机械的辅助影像生成方法、远程操控方法及其装置，作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，其中辅助影像生成方法包括：获取执行机构的姿态特征；获取摄像头采集的第一环境图像；基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息。本发明基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。

技术领域

本发明涉及作业机械技术领域，尤其涉及一种作业机械的辅助影像生成方法、远程操控方法及其装置。

背景技术

作业机械广泛应用于隧道施工、抢险救援等作业场景，随着5G通信的商用和普及，作业机械开始实现远程遥控功能，操作员通过观察作业机械现场作业的视频，以感知作业机械的作业状态，并根据作业状态远程操作作业机械作业。

在现有技术中，为了实现对作业机械的远程操作，通常都是在作业机械上安装多个摄像头采集作业现场的环境视频，上传回监控中心后，并基于摄像头的路数，在对应的显示屏上显示。该方法由于视频路数太多，故对网络的要求也相对更高，从而导致成本增加；且通过多屏展示导致画面零碎，也会对操作员带来干扰。为此，还有一些研究中，将乘用车上的360度全景影像技术用于作业机械的远程操作，但是在实际作业过程中，操作人员普遍反馈该方式极易误判。

发明内容

本发明提供一种作业机械的辅助影像生成方法、远程操控方法及其装置，用以解决现有技术中辅助影像使用不便的缺陷，以用较少流量实现便捷有效的辅助观察。

本发明提供一种作业机械的辅助影像生成方法，所述作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述方法包括：

获取所述执行机构的姿态特征；

获取所述摄像头采集的第一环境图像；

基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。

根据本发明提供的一种作业机械的辅助影像生成方法，所述作业机械包括下机身，所述执行机构包括上机身，所述上机身可转动地安装于所述下机身，所述摄像头安装于所述上机身；

所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：

以所述第一环境图像为参考系，将第一环境图像的旋转映射为姿态特征的旋转，生成所述辅助影像。

根据本发明提供的一种作业机械的辅助影像生成方法，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：

基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，所述整机图像用于表征所述作业机械的姿态；

基于所述整机图像和所述第一环境图像，生成辅助影像。

根据本发明提供的一种作业机械的辅助影像生成方法，所述作业机械为挖掘机，所述执行机构包括安装于所述作业机械的下机身的上机身、安装于所述上机身的动臂、安装于所述动臂的斗杆和安装于所述斗杆的铲斗；

所述基于各个执行机构的所述姿态特征，确定所述作业机械的整机图像，包括：

基于所述上机身的姿态特征，将所述上机身的图像和所述下机身的图像合成为第一图像；

基于所述动臂的姿态特征，将所述第一图像和所述动臂的图像合成为第二图像；

基于所述斗杆的姿态特征，将所述第二图像和所述斗杆的图像合成为第三图像；