[发明专利]车辆用控制装置及控制系统、车辆用学习装置及学习方法、车辆用控制方法以及存储介质

说明书

提供一种车辆用控制装置及控制系统、车辆用学习装置及学习方法、车辆用控制方法以及存储介质。更新处理通过将车辆的状态、在电子设备的操作中所使用了的行动变量的值以及与该操作对应的奖励作为向预先确定的更新映射的输入，对关系规定数据进行更新。奖励算出处理基于通过取得处理取得的车辆的状态，在车辆的特性满足基准的情况下，与车辆的特性不满足基准的情况相比，给与较大的奖励。宽松处理使车辆的劣化程度大的情况下的基准比车辆的劣化程度小的情况下下的基准宽松。

技术领域

本公开涉及车辆用控制装置、车辆用控制系统、车辆用学习装置以及车辆用学习方法。

背景技术

例如下述日本特开2016－6327号公报记载了一种控制装置，其基于对加速踏板的操作量进行滤波器处理而得到的值，对作为搭载于车辆的内燃机的操作部的节气门进行操作。

上述滤波器需要根据加速踏板的操作量来将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量。由此，滤波器的适配需要熟练人员花费许多的工时。

这样，以往以来，对于与车辆的状态相应的车辆内的电子设备的操作量等的适配，熟练人员花费了许多工时。

发明内容

以下，对本公开的例子(Aspect)进行记载。

例1.一种车辆用控制装置，具备执行装置和存储装置，所述存储装置存储关系规定数据，关系规定数据对车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述执行装置构成为执行：取得处理，取得基于传感器的检测值的所述车辆的状态；操作处理，基于所述行动变量的值来对所述电子设备进行操作，所述行动变量由通过所述取得处理取得的所述车辆的状态和所述关系规定数据确定；奖励算出处理，基于通过所述取得处理取得的所述车辆的状态，在所述车辆的特性满足基准的情况下与所述车辆的特性不满足基准的情况相比，给予较大的奖励；以及更新处理，将通过所述取得处理取得的所述车辆的状态、在所述电子设备的操作中使用了的所述行动变量的值以及与该操作对应的所述奖励作为向预先确定的更新映射的输入，由此对所述关系规定数据进行更新，所述更新映射输出以使按照所述关系规定数据操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述取得处理包括取得劣化变量来作为所述车辆的状态的处理，所述劣化变量是表示所述车辆的劣化程度的变量，所述奖励算出处理包括使所述劣化程度大的情况下的所述基准比所述劣化程度小的情况下的所述基准宽松的宽松处理。

在上述构成中，通过算出伴随着电子设备的操作的奖励，能够掌握通过该操作能得到什么样的奖励。并且，基于奖励，通过进行了强化学习的更新映射来对关系规定数据进行更新。由此，能够将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的关系。因此，能在将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的关系时削减对熟练人员要求的工时。

另外，当车辆的劣化发展时，有可能成为无论怎么选择了行动变量的值，都仅给与小的奖励。并且，在该情况下，对在操作处理中所采用了的行动变量的值一律给与小的奖励。由此，与其他行动变量的情况下的期待收益相比，没有期待收益大的行动变量的值，有可能无法选择贪婪行动。于是，在上述构成中，在劣化程度大的情况下，使用于给与奖励的基准宽松。由此，能够抑制对全部行动变量的值一律给与小的奖励的事态的发生。

例2.根据上述例1所述的车辆用控制装置，所述基准包括噪声振动变量的值的大小为噪声振动上限值以下这一条件，所述噪声振动变量是表示所述车辆的振动和噪声这两个中的一个的变量，所述奖励算出处理包括如下处理：在所述噪声振动变量的值的大小为所述噪声振动上限值以下的情况下，与所述噪声振动变量的值的大小超过所述噪声振动上限值的情况相比，给与较大的奖励，所述宽松处理包括如下处理：在所述劣化程度大的情况下，与所述劣化程度小的情况相比，使所述噪声振动上限值为较大的值。