[发明专利]一种人机协同控制策略优化方法、系统及电子设备

说明书

本发明公开一种人机协同控制策略优化方法、系统及电子设备，涉及人机协同控制领域。该方法包括：构建人类动作意图模型；将1到t时刻的实际人类意图和实际环境状态输入人类动作意图模型得到t+1时刻的人类预期意图；构建机器智能体的动作策略模型；将t时刻的实际人类意图、当前环境状态、t+1时刻的人类预期意图和机器智能体得到的实际价值输入至动作策略模型输出机器智能体动作；在确定人类预期意图和机器智能体动作策略模型输出的机器智能体动作间的相似性后，确定机器智能体的最优动作。本发明以机器智能体对人类操作者的动作意图理解为基础进行控制协同，能够在提高人机协同控制效率和精确性的同时，提高人机交互控制过程的稳定性。

技术领域

本发明涉及人机协同控制技术领域，特别是涉及一种人机协同控制策略优化方法、系统及电子设备。

背景技术

在日趋复杂的社会生产环境中，对控制精度的要求越来越高，作业环境也愈发复杂和多样，单独的人类或机器智能体控制已无法满足任务需求，而人机混合智能控制是一种特殊的控制形式，通过人和机器智能体在系统内的共同作用，取得单独人或机器智能体无法达到的效果。

成熟的人机权限控制技术通过综合环境信息、执行结果以及先验数据，采用更为精准的方法实现对人机权限的精确分配。为了提高人机混合智能控制系统的工作效率和精度，人机混合智能控制系统采用各类算法对系统进行控制以及权限分配。

在人机混合智能控制系统中，机器智能体并不能直接获取人类操作者的真实目的，一般在权限分配方面需要使用强化学习的方法将交互数据与实际结果的奖励相结合，以学习特定任务中用户的价值目标。也可以采用逆强化学习的方法通过输入用户在特定任务中的行为方式，来恢复行为背后的奖励函数。

但很多技术都是对于人类与机器智能体之间的权限进行探讨，采用分层决策方法和规划算法来实现可变人机权限分配等级。该领域对某项系统功能是交给人执行还是交给机器智能体执行进行探讨研究，侧重于功能划分。但是，这种单纯的功能划分存在一定的问题，例如一项功能的状况可能会因为先前步骤的执行或实际环境的状态造成直接划分的不足。如何对于当前的环境以及人和机器智能体各自的状态进行合适的评估，从而对人机的权限分配进行完善，这方面研究较少。此外高效的人机协作依赖于团队之间拥有一致的价值观、目标，以及对任务现状的理解，这就要求人类通过与机器智能体的沟通来高效地建立整个团队对任务的共识，每个团队成员都采取其他伙伴更容易理解的行为决策来完成协作，促进当前人机协同控制系统的效率以及稳定性。

但是目前人机协同控制系统均无法从根本意义上实现对上述目的，进而导致整体控制效率和控制精度受到严重影响。

发明内容

为解决现有技术存在的上述问题，本发明提供一种人机协同控制策略优化方法、系统及电子设备。

为实现上述目的，本发明提供了如下方案：

一种人机协同控制策略优化方法，包括：

构建人类动作意图模型；所述人类动作意图模型为训练好的Transformer模型；

将1到t时刻的实际人类意图和1到t时刻的实际环境状态输入所述人类动作意图模型得到t+1时刻的人类预期意图；所述人类预期意图为人类预期的机器智能体动作；

构建机器智能体的动作策略模型；

将t时刻的实际人类意图、当前环境状态、t+1时刻的人类预期意图和t时刻机器智能体得到的实际价值输入至机器智能体的动作策略模型输出机器智能体动作；

确定所述人类预期意图和机器智能体动作策略模型输出的机器智能体动作间的相似性；

基于所述相似性与相似性阈值间的关系确定机器智能体的最优动作。

可选地，构建人类动作意图模型，具体包括：