[发明专利]一种人机协同控制策略优化方法、系统及电子设备

权利要求书

1.一种人机协同控制策略优化方法，其特征在于，包括：

构建人类动作意图模型；所述人类动作意图模型为训练好的Transformer模型；

将1到t时刻的实际人类意图和1到t时刻的实际环境状态输入所述人类动作意图模型得到t+1时刻的人类预期意图；所述人类预期意图为人类预期的机器智能体动作；

构建机器智能体的动作策略模型；

将t时刻的实际人类意图、当前环境状态、t+1时刻的人类预期意图和t时刻机器智能体得到的实际价值输入至机器智能体的动作策略模型输出机器智能体动作；

确定所述人类预期意图和机器智能体动作策略模型输出的机器智能体动作间的相似性；

基于所述相似性与相似性阈值间的关系确定机器智能体的最优动作。

2.根据权利要求1所述的人机协同控制策略优化方法，其特征在于，构建人类动作意图模型，具体包括：

采用马尔科夫决策过程对人类操作者的动作决策进行逐步描述得到人类操作者的动作函数；

基于描述得到的人类操作者的动作函数得到实际人类意图；

将每一时刻的实际人类意图和每一时刻的实际环境状态作为数据组，并为每一数据组设置标签数据，以形成训练样本对；

采用所述训练样本对训练Transformer模型得到训练好的Transformer模型；

将所述训练好的Transformer模型作为所述人类动作意图模型。

3.根据权利要求1所述的人机协同控制策略优化方法，其特征在于，构建机器智能体的动作策略模型，具体包括：

采用策略函数描述机器智能体动作得到动作函数，并采用状态价值函数描述机器智能体当前状态的价值；

为所述动作函数添加神经网络参数得到策略网络，为描述机器智能体当前状态价值的状态价值函数添加神经网络参数得到价值网络；

采用所述价值网络基于人类预期的机器智能体动作得到机器智能体的预测价值；

基于机器智能体的预测价值和机器智能体获得的实际价值确定时序差分的目标；

基于所述时序差分的目标和机器智能体当前状态的价值确定时序差分的误差；

基于所述时序差分的误差和学习率分别更新所述策略网络和所述价值网络，直至满足迭代要求后，将输出的模型作为所述机器智能体的动作策略模型。

4.根据权利要求1所述的人机协同控制策略优化方法，其特征在于，基于所述相似性与相似性阈值间的关系确定机器智能体的最优动作，具体包括：

当所述相似性大于相似性阈值时，将人类预期意图作为机器智能体的最优动作；

当所述相似性小于等于相似性阈值时，将机器智能体动作策略模型输出的机器智能体动作作为机器智能体的最优动作。

5.一种人机协同控制策略优化系统，其特征在于，应用于如权利要求1-4任意一项所述的人机协同控制策略优化方法；所述系统包括：

第一模型构建模块，用于构建人类动作意图模型；所述人类动作意图模型为训练好的Transformer模型；

人类意图预测模型，用于将1到t时刻的实际人类意图和1到t时刻的实际环境状态输入所述人类动作意图模型得到t+1时刻的人类预期意图；所述人类预期意图为人类预期的机器智能体动作；

第二模型构建模块，用于构建机器智能体的动作策略模型；

机器智能体动作预测模型，用于将t时刻的实际人类意图、当前环境状态、t+1时刻的人类预期意图和t时刻机器智能体得到的实际价值输入至机器智能体的动作策略模型输出机器智能体动作；

相似性确定模块，用于确定所述人类预期意图和机器智能体动作策略模型输出的机器智能体动作间的相似性；

最优动作选择模块，用于基于所述相似性与相似性阈值间的关系确定机器智能体的最优动作。

6.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，与所述存储器连接，用于调取并执行所述计算机程序，以实施如权利要求1-4任意一项所述的人机协同控制策略优化方法。

7.根据权利要求6所述的电子设备，其特征在于，所述存储器为计算机可读存储介质。