[发明专利]一种基于视觉听觉融合的机器人操作方法有效
| 申请号： | 202210029154.8 | 申请日： | 2022-01-12 |
| 公开（公告）号： | CN114029963B | 公开（公告）日： | 2022-03-29 |
| 发明（设计）人： | 袁小虎;王业飞 | 申请（专利权）人： | 北京具身智能科技有限公司 |
| 主分类号： | B25J9/16 | 分类号： | B25J9/16;G06V20/10;G06V10/80;G06V10/764;G06V10/82;G06K9/62 |
| 代理公司： | 北京纽乐康知识产权代理事务所(普通合伙) 11210 | 代理人： | 唐忠庆 |
| 地址： | 100094 北京市海淀区丰慧中*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于视觉听觉融合的机器人操作方法，该机器人操作方法包括以下步骤：S1生成视觉场景图像；S2生成自然语言操作指令；S3构建听觉数据集；S4构建指示表达模型；S5构建听觉预测模型；S6构建听觉识别器；S7构建操作模型；S8重复S5‑S7，循环生成多个机械臂的动作序列。该机器人操作方法通过构建视觉定位模型和听觉检测模型集成到机械臂操作模型上，使机器人系统不仅能获取视觉信息，还能理解自然语言中的高级语义信息定位到带有指示表达关系的目标，依靠听觉信息分辨视觉上难以辨别的物体，执行相应操作，实现机械人多模态数据处理能力、机器人自主操作与环境交互能力，提升多模态机器人系统的交互性和智能性。 | ||
| 搜索关键词： | 一种 基于 视觉 听觉 融合 机器人 操作方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京具身智能科技有限公司，未经北京具身智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210029154.8/，转载请声明来源钻瓜专利网。
