[发明专利]操作支持装置、操作支持方法和程序

权利要求书

1.一种操作支持装置，包括：

输入单元，其用于获取问题；

显示单元，其显示针对目标装置的描述屏幕；

控制命令执行单元，其执行用于控制所述目标装置的控制命令；

模型，其被配置成利用信息通过机器学习来进行训练，以用于基于所述问题和屏幕识别信息输出指示所述问题的意图的意图信息；

推理单元，其基于所述问题和屏幕识别信息从所述模型获取所述意图信息，并获得与所获取的意图信息对应的应答、与所述意图信息和所述屏幕识别信息对应的控制命令以及变换目的地屏幕识别信息，所述屏幕识别信息用于识别当所述输入单元已经获取到所述问题时显示的描述屏幕，所述变换目的地屏幕识别信息用于识别与所述意图信息和所述屏幕识别信息对应的变换目的地的描述屏幕；

应用运行单元，其执行应用程序，所述应用程序用于输出由所述推理单元获得的所述应答，使所述控制命令执行单元执行由所述推理单元获得的所述控制命令，并且在所述显示单元上显示与由所述推理单元获得的所述变换目的地屏幕识别信息对应的描述屏幕；

应答存储单元，其存储所述意图信息与所述应答之间的对应关系；以及

控制命令生成单元，其存储关于与所述意图信息和所述屏幕识别信息对应的所述控制命令和所述变换目的地屏幕识别信息的信息，并且以与查询对应的所述控制命令和所述变换目的地屏幕识别信息来响应来自所述推理单元基于所述意图信息和所述屏幕识别信息的所述查询，

其中，所述推理单元通过基于所获取的意图信息参考所述应答存储单元来获得与所述意图信息对应的所述应答，并且

所述推理单元通过基于所获取的意图信息和所述屏幕识别信息对所述控制命令生成单元进行查询来获得所述控制命令和所述变换目的地屏幕识别信息。

2.根据权利要求1所述的操作支持装置，还包括机器学习处理单元，所述机器学习处理单元提供包含所述问题、所述屏幕识别信息和所述意图信息的训练数据，以通过机器学习对所述模型进行训练。

3.根据权利要求1或2所述的操作支持装置，其中，所述显示单元显示由所述应用运行单元输出的所述应答。

4.根据权利要求1至3中任一项所述的操作支持装置，其中，所述显示单元具有用于显示由包括在所述目标装置中的相机捕获的图像的区域。

5.一种操作支持方法，包括：

由输入单元获取问题；

由显示单元显示针对目标装置的描述屏幕；

由控制命令执行单元执行用于控制所述目标装置的控制命令；

提供模型，所述模型被配置成利用信息通过机器学习来进行训练，以用于基于所述问题和屏幕识别信息输出指示所述问题的意图的意图信息；

由推理单元基于所述问题和屏幕识别信息从所述模型获取所述意图信息，并获得与所获取的意图信息对应的应答、与所述意图信息和所述屏幕识别信息对应的控制命令以及变换目的地屏幕识别信息，所述屏幕识别信息用于识别当所述输入单元已经获取到所述问题时显示的描述屏幕，所述变换目的地屏幕识别信息用于识别与所述意图信息和所述屏幕识别信息对应的变换目的地的描述屏幕；

由应用运行单元执行应用程序，所述应用程序用于输出由所述推理单元获得的所述应答，使所述控制命令执行单元执行由所述推理单元获得的所述控制命令，并且在所述显示单元上显示与由所述推理单元获得的所述变换目的地屏幕识别信息对应的描述屏幕；

由应答存储单元存储所述意图信息与所述应答之间的对应关系；以及

由控制命令生成单元存储关于与所述意图信息和所述屏幕识别信息对应的所述控制命令和所述变换目的地屏幕识别信息的信息，并且以与查询对应的所述控制命令和所述变换目的地屏幕识别信息来响应来自所述推理单元基于所述意图信息和所述屏幕识别信息的所述查询，

其中，所述推理单元通过基于所获取的意图信息参考所述应答存储单元来获得与所述意图信息对应的所述应答，并且

所述推理单元通过基于所获取的意图信息和所述屏幕识别信息对所述控制命令生成单元进行查询来获得所述控制命令和所述变换目的地屏幕识别信息。

6.一种使计算机用作根据权利要求1至4中任一项所述的操作支持装置的程序。