[发明专利]车辆用控制装置、车辆用控制系统以及车辆用学习装置

说明书

本发明公开车辆用控制装置、车辆用控制系统以及车辆用学习装置。车辆用控制装置具备：存储装置，存储作为用于规定车辆的状态与行动变量的关系的数据的关系规定数据；以及执行装置，构成为如下：获取所述状态，根据所述行动变量的值来操作驱动系统装置，在基于所述状态的所述驱动系统装置的状态满足预定的基准的情况下以变大的方式计算报酬，使用更新映射来进行所述关系规定数据的更新，在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量变小的方式，限制所述关系规定数据的更新。

技术领域

本发明涉及车辆用控制装置、车辆用控制系统以及车辆用学习装置。

背景技术

例如在下述日本特开2000-250602中，记载有通过强化学习来决定与车辆的状态相应的适当的变速比。

发明内容

然而，在对调整上述变速比的变速装置的驱动存在制约的情况下，当反复进行强化学习时，学习结果有可能会从对变速装置的驱动没有制约的情况下的适当的值大幅偏离。这样的情形不限于在变速装置中产生，可能在驱动系统装置中产生。

本发明的第一方式提供一种车辆用控制装置，具备：存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与作为与搭载于所述车辆的驱动系统装置的操作有关的变量的行动变量的关系的数据；以及执行装置，构成为如下：根据车载传感器的检测值来获取所述状态，基于根据被所述执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，以在基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。

根据上述方式，在对驱动系统装置的驱动存在制约的情况下，以使更新量变小的方式限制更新处理的执行。因此，能够抑制由于在对驱动系统装置的驱动存在制约的情况下关系规定数据被更新而大幅变化的情形。因而，在上述结构中，能够抑制基于强化学习的学习结果大幅偏离在通常时操作驱动系统装置时的适当的值。

在上述方式中，所述执行装置也可以构成为判定在所述驱动系统装置中是否存在异常，也可以在所述执行装置判定为在所述驱动系统装置中存在异常的情况下，所述驱动系统装置的驱动受到所述预定的制约。

当在驱动系统装置存在异常的情况下进行强化学习时，基于强化学习的学习结果有可能会大幅偏离驱动系统装置的正常时的适当的值。根据上述方式，在被判定为存在异常的情况下限制更新处理的执行。由此，能够抑制基于强化学习的学习结果大幅偏离在通常时操作驱动系统装置时的适当的值。

在上述方式中，所述驱动系统装置也可以包括变速装置，也可以在所述变速装置的工作油的温度为高温阈值以上的情况下，所述驱动系统装置的驱动受到所述预定的制约。

当在工作油的温度过高的情况下执行强化学习时，基于强化学习的学习结果有可能会大幅偏离在通常时的温度区域操作驱动系统装置时的适当的值。根据上述结构，在工作油的温度为高温侧阈值以上的情况下限制更新处理的执行，从而能够抑制基于强化学习的学习结果大幅偏离在工作油的温度为通常时的温度区域中适当的值。

在上述方式中，所述驱动系统装置也可以包括变速装置，也可以在所述变速装置的工作油的温度为低温阈值以下的情况下，所述驱动系统装置的驱动受到所述预定的制约。