[发明专利]一种基于多模态行为在线预测的人机协作方法和系统

说明书

本发明公开了一种基于多模态行为在线预测的人机协作方法和系统，所述方法包括：获取视频数据；根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征；所述视觉语义深层特征用于反映所述人体行为在时序性视觉模式下的时空间语义信息；根据所述视觉语义深层特征和所述人体姿态特征，确定所述作业人员对应的目标人体行为意图；根据所述目标人体行为意图确定移动式协作机器人对应的执行操作和移动路径。解决了现有技术中手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式的问题。

技术领域

本发明涉及人机协同智能制造装配领域，尤其涉及的是一种基于多模态行为在线预测的人机协作方法和系统。

背景技术

现有产品制造模式中，产品装配是整个制造生命周期中时间和精力耗费量最大的环节之一。据统计，在工业化国家的产品生产过程中，大约1/3左右人力从事于有关产品装配的活动，该阶段占用超过40％的生产成本。同时，由于产品的复杂性或个性化发展趋势，极大制约了现有装配的自动化和智能化水平，使得手工装配仍然是现有的主流装配方式之一，繁重紧张的装配任务会增加人员的疲劳程度，进而影响整个产品的生产装配质量，不科学的装配工艺以及工作环境影响着员工的工作状态甚至危害人的健康，降低了工作效率。因此，现有的手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多模态行为在线预测的人机协作方法和系统，旨在解决现有技术中手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于多模态行为在线预测的人机协作方法，其中，所述方法包括：

获取视频数据；

根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征；所述视觉语义深层特征用于反映所述人体行为在时序性视觉模式下的时空间语义信息；

根据所述视觉语义深层特征和所述人体姿态特征，确定所述作业人员对应的目标人体行为意图；

根据所述目标人体行为意图对移动式协作机器人进行控制。

在一种实施方法中，所述根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征，包括：

根据所述视频数据输出基础三原色视频流和三维人体姿态数据流；

根据所述基础三原色视频流提取所述视觉语义深层特征；

根据所述三维人体姿态数据流提取所述人体姿态特征。

在一种实施方法中，所述根据所述基础三原色视频流提取所述视觉语义深层特征，包括：

对所述基础三原色视频流中每一视频帧对应的人体行为区域进行剪裁，得到若干人体行为区域视频帧；

根据所述若干人体行为区域视频帧确定所述人体行为对应的视觉模态浅层特征，并根据所述视觉模态浅层特征提取所述视觉语义深层特征，其中，所述视觉模态浅层特征用于反映所述若干人体行为区域视频帧中的视觉几何特征。

在一种实施方法中，所述根据所述人体行为区域视频帧确定所述人体行为对应的视觉模态浅层特征，并根据所述视觉模态浅层特征提取所述视觉语义深层特征，包括：

将所述若干人体行为区域视频帧输入预先经过训练的二维卷积神经网络中，得到所述视觉模态浅层特征；