[发明专利]一种基于Transformer的跨模态融合网络的RGB-D语义分割方法

摘要

发明名称：一种基于Transformer的跨模态融合网络的RGB‑D语义分割方法摘要：本发明提供了一种基于Transformer的跨模态融合的RGB‑D语义分割方法，所述方法利用RGB图像和Depth图像的多模态数据，提取跨模态特征用于计算机视觉中的语义分割任务。本发明的贡献主要在于通过考虑Depth特征出发，意识到深度传感器获得的深度学习存在不可靠信息(如，一些深度传感器读取到的深色的物体或者反光的表面的读数往往不准确或者存在空洞)，提出利用双边滤波来加强Depth特征的作用，并通过一个跨模态残差融合模块有效的融合RGB特征和Depth特征。通过提出的方法可以有效地处理RGB图像语义分割所遭遇的挑战(很难区分具有相似颜色和纹理的实例)，并且可以有效的利用Depth图像。