[发明专利]利用第一原则和约束进行有效、连续和安全学习的系统和方法

说明书

一种用于控制系统的自学习的计算机实现的方法。该方法包括创建初始知识库。该方法使用该知识库学习第一原则。该方法创建从该知识库导出的初始控制命令。该方法生成用于该控制命令的约束。该方法通过执行具有该约束的该控制命令并观察反馈，执行约束强化学习以改善该控制命令。该方法基于该反馈来丰富该知识库。

相关申请的交叉引用

本申请要求于2018年11月16日提交的申请号为62/768,467、发明名称为“利用第一原则和约束进行有效、连续和安全学习的系统和方法”的美国临时申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开的实施例涉及机器学习领域，并且具体地，涉及利用第一原则和约束进行有效、连续和安全学习的系统和方法。

背景技术

机器学习是一种计算机程序，其可以在没有人为干扰的情况下学习并适应新数据。深度学习是机器学习的子集。深度学习是一种人工智能(artificial intelligence，AI)功能，它模仿人脑在处理数据和创建模式用于决策方面的工作。例如，深度学习可以通过归纳解决方案来从新的、尚未被观察到的状态(或情境输入)中推断出结果。传统上，深度学习已用于图像和语音识别。

强化学习(reinforcement learning，RL)是通过反复试验进行学习的过程，以发现哪些动作可以产生最佳结果。与监督式机器学习基于已知正确答案来训练模型不同，在强化学习中，研究人员通过让代理与环境互动来训练模型。深度强化学习(deepreinforcement learning，DRL)是深度学习和强化学习的组合。DRL是建立在深度神经网络上的强化学习架构。它使用深度神经网络代替强化学习中的Q网络，从而实现深度学习，同时具有强化学习的特征—连续学习中的反复试验。DRL是AI研究的一个令人兴奋的领域，它可能适用于各种问题领域。但是，DRL仍然存在局限性，例如学习中的效率低下和安全性问题，模拟和现实环境中学习结果之间的差异等。

发明内容

本公开描述了利用第一原则和约束进行有效、连续和安全学习的各种实施例。作为示例，在一个实施例中，公开了一种用于控制系统的自学习的方法。该方法包括创建初始知识库。该方法使用该知识库学习第一原则。该方法创建从该知识库导出的初始控制命令。该方法生成用于该控制命令的约束。该方法通过执行具有该约束的该控制命令并观察反馈，执行约束强化学习以改善该控制命令。该方法基于该反馈来丰富该知识库。

在具体实施方式中进一步描述了上述方面的附加细节和其他实施例及其优点。

附图说明

为了更全面地理解本公开，结合附图和具体实施方式，现参考以下简要描述，其中相同的附图标记表示相同的部分。

图1是示出根据本公开的实施例的用于车辆学习如何遵循车道的方法的示意图。

图2是示出根据本公开的实施例的用于有效、连续和安全的基于第一原则的约束自学习的过程的流程图。

图3是示出根据本公开的实施例的运动学的图，该运动学可用于使用知识库来估计车辆的结构参数。

图4是示出根据本公开的实施例的分段线性拟合方法的图。

图5是示出根据本公开的实施例的用于创建初始命令的过程的流程图。

图6是示出根据本公开的实施例的用于生成约束的过程的流程图。

图7是示出根据本公开的实施例的用于执行约束强化学习的过程的流程图。

图8是其中可以实现说明性实施例的各方面的示例数据处理系统的框图。

所示出的附图仅是示例性的，并且无意于主张或暗示对可以实现不同实施例的环境、架构、设计或过程构成任何限制。在图示的图中使用虚线指示任何可选的组件或步骤。

具体实施方式