[发明专利]一种基于多模态特征的移动机器人视觉-语言导航方法

权利要求书

1.一种基于多模态特征的移动机器人视觉-语言导航方法，其特征在于，包括以下步骤：

1)使用Transformer对输入的自然语言指令进行编码，得到语言特征向量和初始的状态特征向量；

2)对于当前时刻能导航的方向对应的图像，首先使用ResNet-152提取得到场景特征向量，然后使用Faster R-CNN进行目标检测，对目标检测得到的类别进行独热编码得到目标检测特征向量，最后将场景特征向量、目标检测特征向量和对应方向编码得到的方向特征向量拼接输入到视觉编码器中，得到视觉特征向量；

3)除初始时刻外，将机器人上一个时刻所选择的动作对应的视觉隐层表示加入到历史特征向量；

4)使用跨模态编码模块OHAMT对得到的语言特征向量、视觉特征向量、历史特征向量以及机器人上一个时刻得到的状态特征向量进行跨模态编码，得到当前时刻的状态特征向量和视觉隐层表示；

5)将步骤4)得到的视觉隐层表示和OHAMT中最后一个自注意力层得到的状态特征隐层表示输入到动作决策模块ActionPredictor中，得到动作概率分布，然后机器人根据动作概率分布选取下一步动作并执行；

6)重复步骤2)-步骤5)直到机器人停止移动，最后更新模型的权重，即跨模态编码模块OHAMT和动作决策模块ActionPredictor的权重。

2.根据权利要求1所述的一种基于多模态特征的移动机器人视觉-语言导航方法，其特征在于，所述步骤1)包括以下步骤：

1.1)对自然语言指令进行预处理，包括在自然语言指令第一个单词前插入[CLS]标记，在最后一个单词后插入[SEP]标记，并将单词数量不足80的自然语言指令使用[PAD]标记补齐；

1.2)使用Transformer对预处理后的自然语言指令进行编码，[CLS]标记经过编码后得到初始的状态特征向量其余单词和标记编码后得到语言特征向量其中是向量空间。

3.根据权利要求1所述的一种基于多模态特征的移动机器人视觉-语言导航方法，其特征在于，所述步骤2)包括以下步骤：

2.1)使用在ImageNet训练，然后在Place365调优得到的ResNet-152对当前时刻t能导航的方向i对应的图像I_t,i提取得到场景特征向量其中是向量空间；

2.2)使用BUTD中预训练的Faster R-CNN对I_t,i进行目标检测，然后对目标检测得到的类别进行过滤，仅保留在R2R训练集的语料中出现过的类别，将其进行独热编码，得到目标检测特征向量

2.3)将I_t,i对应的观察角度和高度编码成方向特征向量

2.4)使用步骤2.1)-步骤2.3)得到的场景特征向量、目标检测特征向量和方向特征向量拼接得到特征向量然后将F_t,i输入到视觉编码器VisionEncoder中，得到视觉特征向量其中，视觉编码器VisionEncoder定义如下：

V_t,i＝VisionEncoder(F_t,i)＝LayerNorm(Linear(F_t,i))

式中，LayerNorm是层归一化，Linear是线性层。

4.根据权利要求1所述的一种基于多模态特征的移动机器人视觉-语言导航方法，其特征在于：在步骤3)中，除初始时刻外，将机器人上一个时刻所选择的动作对应的视觉隐层表示与上一个时刻的历史特征向量H_t-1进行拼接得到当前时刻的历史特征向量H_t。