[发明专利]车辆用控制装置、车辆用控制系统以及车辆用学习装置

权利要求书

1.一种车辆用控制装置，其特征在于，具备：

存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的驱动系统装置的操作有关的变量；以及

执行装置，构成为如下：

根据车载传感器的检测值来获取所述状态，

基于根据被所述执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，

以在基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，

使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，并且，

在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。

2.根据权利要求1所述的车辆用控制装置，其特征在于，

所述执行装置构成为判定在所述驱动系统装置中是否存在异常，

在所述执行装置判定为在所述驱动系统装置中存在异常的情况下，所述驱动系统装置的驱动受到所述预定的制约。

3.根据权利要求1或者2所述的车辆用控制装置，其特征在于，

所述驱动系统装置包括变速装置，

在所述变速装置的工作油的温度为高温阈值以上的情况下，所述驱动系统装置的驱动受到所述预定的制约。

4.根据权利要求1～3中的任意一项所述的车辆用控制装置，其特征在于，

所述驱动系统装置包括变速装置，

在所述变速装置的工作油的温度为低温阈值以下的情况下，所述驱动系统装置的驱动受到所述预定的制约。

5.根据权利要求1～4中的任意一项所述的车辆用控制装置，其特征在于，

在所述驱动系统装置的驱动受到所述预定的制约的情况下，所述更新量是零。

6.一种车辆用控制系统，其特征在于，具备：

存储装置，存储关系规定数据，该关系规定数据是用于规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的驱动系统装置的操作有关的变量；以及

执行装置，包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置，

其中，

所述第1执行装置构成为：

根据车载传感器的检测值来获取所述状态，并且，

基于根据被所述第1执行装置获取到的所述状态和所述关系规定数据确定的所述行动变量的值，操作所述驱动系统装置，

所述第1执行装置和所述第2执行装置中的至少一方构成为以在基于被所述第1执行装置获取到的所述状态的所述驱动系统装置的状态满足预定的基准的情况下比基于被所述第1执行装置获取到的所述状态的所述驱动系统装置的状态不满足预定的基准的情况大的方式计算报酬，

所述第2执行装置构成为使用预先决定的更新映射来进行所述关系规定数据的更新，该预先决定的更新映射将被所述第1执行装置获取到的所述状态、在所述驱动系统装置的操作中利用的所述行动变量的值以及与所述操作对应的所述报酬作为自变量，返回以使在依照所述关系规定数据操作所述驱动系统装置的情况下计算的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，

所述第1执行装置和所述第2执行装置中的至少一方进而构成为在所述驱动系统装置的驱动受到预定的制约的情况下，以使所述关系规定数据的更新量比所述驱动系统装置的驱动不受到所述预定的制约的情况小的方式，限制所述关系规定数据的更新。

7.一种车辆控制装置，其特征在于，

所述车辆控制装置具备权利要求6所述的车辆用控制系统中的所述第1执行装置。

8.一种车辆用学习装置，其特征在于，

所述车辆用学习装置具备权利要求6所述的车辆用控制系统中的所述第2执行装置。