[发明专利]对自主系统进行安全且有效的超控的系统和方法

说明书

描述了一种用于自主系统的胜任力评估的系统。所述系统提取表示情境的语义概念。将自主系统采取的动作与在情境中采取所述动作时激活的语义概念集合相关联。所述系统测量在情境中采取的动作的结果并生成奖励度量。将表示情境的语义概念连同在情境中采取的动作和奖励度量一起存储为记忆。基于记忆的回忆生成前瞻性模拟结果。确定胜任力度量和经验度量。当胜任力度量和经验度量中的至少一者高于最小值时，维持对自主系统的胜任力操作控制。当胜任力度量和经验度量中的至少一者低于最小值时，生成警报。

相关申请的交叉引用

本申请是2019年9月26日在美国提交的名称为“System and Method forAutonomous System Introspection”的美国临时申请No.62/906,269的非临时申请，其全部内容通过引用并入本文。

发明背景

(1)技术领域

本发明涉及一种用于自主系统的胜任力评估(competency assessment)的系统，并且更具体地，涉及以下用于自主系统的胜任力评估的系统，该系统能够在预测到低胜任力的情况下启动到人类或辅助系统的移交。

(2)相关技术描述

自主系统需要不断估计其处理即将发生的情况的能力。胜任力估计和警告的现有技术(诸如Daftry等人(参见并入的参考文献列表中的参考文献No.9))使用了深度学习，深度学习只在明确定义且受控的情况下才能运行良好、仅基于提前一帧的运动学投影并且无法评估对于假设的未来情况的胜任力。

Kansky等人(参见参考文献No.4)表明，即使是输入的细微变化也可能导致深度网络的灾难性故障。该领域没有成熟的方法来解决深度网络对输入(或低级特征)的微小变化过度敏感的问题。因此，现有技术无法针对假设情况和新情况来评估胜任力。此外，现有技术直接预测有偏差的胜任力度量，容易产生响应偏差。此外，现有技术没有评估经验深度。

因此，仍然需要如下系统：该系统不仅能够学习和适应并且在处理其尚未被训练或编程以进行处理的情况时表现出弹性适应，而且还能够知道它能够胜任地处理所述情况中的哪一种情况，以及何时寻求帮助。人类可以对知道其极限的机器更有信心。

发明内容

本发明涉及一种用于自主系统的胜任力评估的系统，并且更具体地，涉及以下用于自主系统的胜任力评估的系统，该系统能够在预测到低胜任力的情况下启动到人类或辅助系统的移交。所述系统包括非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得当执行所述可执行指令时，所述一个或更多个处理器执行多个操作。所述系统提取表示情境的多个语义概念。将所述自主系统采取的动作与在所述情境中采取所述动作时激活的语义概念集合相关联。使用所述自主系统的性能的任务特定奖励函数，所述系统测量在所述情境中采取的所述动作的结果并生成奖励度量。将表示所述情境的所述多个语义概念连同在所述情境中采取的所述动作和所述奖励度量一起存储为记忆。基于所述记忆的回忆生成前瞻性模拟结果。基于所述前瞻性模拟结果，所述系统确定表示所述自主系统在所述情境中的胜任力的胜任力度量和表示所述自主系统在所述情境中的经验的经验度量中的至少一者。当所述胜任力度量和所述经验度量中的至少一者高于建立的最小允许值时，维持对所述自主系统的有胜任力操作控制。当所述胜任力度量和所述经验度量中的至少一者低于所述建立的最小允许值时，生成警报。

在另一方面，所述系统确定经验深度估计结果，所述经验深度估计结果表示在以任务目标为条件的已学习潜在空间中的任何点处的访问密度。

在另一方面，所述胜任力度量是基于受试者-操作者特性(Receiver-OperatorCharacteristic，ROC)曲线的胜任力度量。

在另一方面，当所述胜任力度量和所述经验度量中的至少一者低于建立的最小允许值时，所述系统启动将对所述自主系统的控制移交给用户。