[发明专利]定制化药物制备的机器人操作技能模仿学习方法及装置

说明书

本发明提供了一种定制化药物制备的机器人操作技能模仿学习方法及装置，涉及医疗器械类机器人技术领域。包括获取视觉信息，将视觉信息作为基础识别对象；获取人类专家演示视频，将人类专家演示视频作为制药机器人的模仿对象；基于识别对象和模仿对象，进行制药机器人的视频位置以及运动状态的迁移学习；提取制药机器人的状态信息的特征和运动信息的特征；基于制药机器人的状态信息的特征和运动信息的特征，采用参数化策略网络近似策略函数，利用策略迭代算法训练网络，构建定制化药物制备的决策学习模块。本发明利用观测对比方法即可实现制药机器人制药技能的模仿，整体设计流畅、耗费成本大大降低，制药任务可增加、应用场景可拓展，具有较大的经济效益。

技术领域

本发明涉及医疗器械机器人技术领域，特别是指一种定制化药物制备的机器人操作技能模仿学习方法及装置。

背景技术

药物生产行业作为国民经济和社会福利事业的一部分，众多研发人员在近些年来投入了大量的资源，期望节约制药过程的生产成本，大大提升制药能力服务于社会，可谓是备受关注。目前针对药物制备机器人的提升主要包括：优化其视觉处理系统，使得机器人能够准确捕获到药物的反应状态、反应釜的状况；利用强化学习的方法训练制药机器人关于制备某种药物的行动策略，但每一种药物的制备都需要投入大量的训练成本；细化制药参数，增加多种控制量，企图多层面控制制备过程，这同样加大了制备成本。因此，出于降低成本、实现快速智能、准确控制制药机器人的考虑，制药机器人的决策优化成为亟待解决的问题，

发明内容

针对现有技术中，Transformer模型过于关注化学分子序列的全局特征，易产生化学分子的局部特征提取不充分的问题，本发明提出了一种定制化药物制备的机器人操作技能模仿学习方法及装置。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种定制化药物制备的机器人操作技能模仿学习方法，该方法应用于电子设备，包括以下步骤：

一种定制化药物制备的机器人操作技能模仿学习方法，其特征在于，包括以下步骤：

S1：获取视觉信息，将视觉信息作为基础识别对象；获取人类专家演示视频，将人类专家演示视频作为制药机器人的模仿对象；基于识别对象和模仿对象，进行制药机器人的视频位置以及运动状态的迁移学习；

S2：提取制药机器人的状态信息的特征和运动信息的特征；

S3：基于制药机器人的状态信息的特征和运动信息的特征，采用参数化策略网络近似策略函数，利用策略迭代算法训练网络，构建定制化药物制备的决策学习模块；

S4：基于决策学习模块，制药机器人操作完成预设制药任务，完成定制化药物制备的机器人操作技能模仿学习。

可选地，S1中，获取视觉信息，将视觉信息作为基础识别对象；获取人类专家演示视频，将人类专家演示视频作为制药机器人的模仿对象；基于识别对象和模仿对象，进行制药机器人的视频位置以及运动状态的迁移学习，包括：

S11：获取视觉信息，将视觉信息作为基础识别对象；获取人类专家演示视频，将人类专家演示视频作为制药机器人的模仿对象；

S12：将人类专家演示视频提供的信息转化到机器人域，利用基于MUNIT的关键点检测操作实现演示视频到机器人位置状态的迁移学习；将人类专家演示视频的图像数据分解为内容编码和样式编码，从目标域的样式空间中进行随机样式编码采样；

S13：将内容编码与随机样式编码进行重新组合，通过基于MUNIT的关键点检测操作进行视频信息到机器人状态的重构；

S14：对人类专家演示视频以及机器人视频进行预处理，将预处理后的视频分段归类，进行制药机器人的运动状态的迁移学习。

可选地，步骤S1中，根据下述公式(1)-(9)定义基于MUNIT的关键点检测操作中的损失函数：