[发明专利]定制化药物制备的机器人操作技能模仿学习方法及装置

权利要求书

1.一种定制化药物制备的机器人操作技能模仿学习方法，其特征在于，包括以下步骤：

S1：获取视觉信息，将所述视觉信息作为基础识别对象；获取人类专家演示视频，将所述人类专家演示视频作为制药机器人的模仿对象；基于所述识别对象和所述模仿对象，进行所述制药机器人的视频位置以及运动状态的迁移学习；

S2：提取所述制药机器人的状态信息的特征和运动信息的特征；

S3：基于所述制药机器人的状态信息的特征和运动信息的特征，采用参数化策略网络近似策略函数，利用策略迭代算法训练网络，构建定制化药物制备的决策学习模块；

S4：基于所述决策学习模块，制药机器人操作完成预设制药任务，完成定制化药物制备的机器人操作技能模仿学习。

2.根据权利要求1所述的方法，其特征在于，所述S1中，获取视觉信息，将所述视觉信息作为基础识别对象；获取人类专家演示视频，将所述人类专家演示视频作为制药机器人的模仿对象；基于所述识别对象和所述模仿对象，进行所述制药机器人的视频位置以及运动状态的迁移学习，包括：

S11：获取视觉信息，将所述视觉信息作为基础识别对象；获取人类专家演示视频，将所述人类专家演示视频作为制药机器人的模仿对象；

S12：将所述人类专家演示视频提供的信息转化到机器人域，利用基于MUNIT的关键点检测操作实现演示视频到机器人位置状态的迁移学习；将所述人类专家演示视频的图像数据分解为内容编码和样式编码，从目标域的样式空间中进行随机样式编码采样；

S13：将所述内容编码与所述随机样式编码进行重新组合，通过基于MUNIT的关键点检测操作进行视频信息到机器人状态的重构；

S14：对所述人类专家演示视频以及机器人视频进行预处理，将预处理后的视频分段归类，进行所述制药机器人的运动状态的迁移学习。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中，根据下述公式(1)-(9)定义基于MUNIT的关键点检测操作中的损失函数：

演示视频域的对抗损失和机器人域的对抗损失如下式(1)、(2)所示：

演示视频域的图像重构损失和机器人域的图像重构损失如下式所示：

演示视频域的内容重构损失和机器人域的内容重构损失如下式所示：

演示视频域的样式重构损失和机器人域的样式重构损失如下式所示：

因此，训练MUNIT的总损失如下式所示：

其中，λ_image、λ_content、λ_style是超参数，用于协调上述三种损失函数在训练过程中的占比，以合理的损失度量促进网络收敛。

4.根据权利要求2所述的方法，其特征在于，所述步骤S14中，对所述人类专家演示视频以及机器人视频进行预处理，将预处理后的视频分段归类，进行所述制药机器人的运动状态的迁移学习，包括：

对演示和机器人视频分别做时序分割与识别处理，用MMD损失函数将演示和机器人视频映射到同一特征空间，通过对输入的视频帧做分段归类处理实现演示视频到机器人视频的运动状态迁移。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2中，提取所述制药机器人的状态信息的特征和运动信息的特征，包括：

利用关键点位置计算机器人的速度以及速度方向，获取机器人运动状态的反馈信息，与视频帧中相对应的演示运动状态相比较，反馈差异信息，根据所述差异信息进行模型收敛，同步制药机器人的运动信息。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3中，基于所述制药机器人的状态信息的特征和运动信息的特征，采用参数化策略网络近似策略函数，利用策略迭代算法训练网络，构建定制化药物制备的决策学习模块，包括：

通过最小化当前观测的制药机器人关键点表示与人类专家演示视频的关键点轨迹之间的距离，并最小化当前人类专家演示视频与制药机器人当前操作步骤类别的交叉熵；当网络训练到人类专家演示视频与制药机器人之间的差异不影响制药机器人行动时，则视为制药机器人学习到了演示的制药技能。