[发明专利]一种基于多模态特征的移动机器人视觉-语言导航方法在审
| 申请号： | 202210586122.8 | 申请日： | 2022-05-27 |
| 公开（公告）号： | CN115082915A | 公开（公告）日： | 2022-09-20 |
| 发明（设计）人： | 董敏;钟浩钊;毕盛 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06V20/62 | 分类号： | G06V20/62;G06N3/04;G06N3/08;G06V10/75;G06V10/764;G06V10/774 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 冯炳辉 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多模态特征的移动机器人视觉‑语言导航方法，包括：1)对输入的自然语言指令进行编码，得到语言特征向量和初始的状态特征向量；2)对于当前时刻的输入图像进行编码，得到视觉特征向量；3)根据机器人的历史动作编码得到历史特征向量；4)对步骤1)到步骤3)得到的多种模态的特征向量进行跨模态编码；5)将跨模态编码结果输入到动作决策模块，预测下一步动作并执行；6)重复步骤2)到步骤5)直到机器人停止移动，然后更新模型。本发明提供物体参考信息和历史导航信息，能让机器人根据自然语言指令进行视觉导航，实验表明所提出方法具有优秀的性能。 | ||
| 搜索关键词： | 一种 基于 多模态 特征 移动 机器人 视觉 语言 导航 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210586122.8/，转载请声明来源钻瓜专利网。
