[发明专利]处理装置、处理方法及记录介质

说明书

本发明提供处理装置、处理方法以及记录介质。处理装置具备：第1处理部，进行对对象环境适用了规定的行动时的状态转变的模拟，计算状态转变后的上述对象环境的状态、以及利用第1指标求出的对所适用的上述行动的评价值；以及第2处理部，基于表示针对上述对象环境的状态的行动的价值的价值函数，选择行动并输入至上述第1处理部，并且基于由上述第1处理部计算出的上述状态和上述评价值，更新上述价值函数；在上述第2处理部中，基于第2指标，选定上述第1处理部中的模拟结果，并且基于所选定的模拟结果和上述价值函数，决定策略。

本申请是申请日为2019年5月10日、申请号为201910388236.X、发明名称为“策略搜索装置、方法及记录介质”的发明专利申请的分案。

技术领域

本发明涉及根据状况搜索有效的策略的技术。

背景技术

在各种领域中，利用机械学习、根据状况搜索并提示有效的策略的技术受到关注。在专利文献1－4中，公开了使用强化学习的方法来学习使想要提高的指标(以下也称作“KPI”)提高的有效策略的技术。KPI是Key Performance Indicator(关键绩效指标)的简写。

专利文献1所公开的技术涉及如下方法：作为进行强化学习时的环境模型而使用已经经历的事件和行动的对的集合，由此降低强化学习的计算成本。

专利文献2所公开的技术涉及如下方法：在强化学习中使用的价值函数的神经网络下的近似中，即使输入变量是许多个，也能够高精度且低成本地对神经网络的权重进行学习。

专利文献3所公开的技术涉及如下方法：在用来在汽车的驾驶时提示支援驾驶者的信息的系统中，利用强化学习制作良好驾驶的行动指南，此时根据周边环境的变化对可采取的行动进行限定，由此有效地开展强化学习。

专利文献4所公开的技术涉及如下方法：在强化学习中，利用相关分析来缩减接下来应采取的行动的候选，有效地学习机器人控制的方法。

专利文献1：日本特开2010－73200号公报

专利文献2：日本特开2009－64216号公报

专利文献3：日本特开2004－348394号公报

专利文献4：日本特开2018－24036号公报

提出了利用最优解搜索及预测等技术向人提示与状况匹配的有效的行动来支援人的意思决定的机制。在最优解搜索中，表示最优性的数值基本上必须限定于1个。但是，实际上应注意的KPI是多个，或想要重视的KPI因人而异的情况较多。但是，没有与像这样按每个用户而嗜好不同的多个KPI对应地搜索有效的行动的方法。

发明内容

本发明的目的是提供一种在存在多样指标的环境中根据状况而搜索适当的策略的技术。

本发明的1个技术方案的处理装置，具备：第1处理部，进行对对象环境适用了规定的行动时的状态转变的模拟，计算状态转变后的上述对象环境的状态、以及利用第1指标求出的对所适用的上述行动的评价值；以及第2处理部，基于表示针对上述对象环境的状态的行动的价值的价值函数，选择行动并输入至上述第1处理部，并且基于由上述第1处理部计算出的上述状态和上述评价值，更新上述价值函数；在上述第2处理部中，基于第2指标，选定上述第1处理部中的模拟结果，并且基于所选定的模拟结果和上述价值函数，决定策略。

发明效果

根据本发明的1个技术方案，指定应提高的第1指标和与其不同的第2指标，在价值函数的学习中重视该第2指标来进行策略的搜索，所以在存在多样指标的环境中能够根据状况选择优选的策略。

附图说明

图1是有效策略提示装置的框图。

图2是有效策略提示装置的处理结构图。