[发明专利]终端操控方法及装置

说明书

本公开提供一种终端操控方法及装置，其中，所述方法包括：通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；根据接收到的用户输入信息，从所述操控对象中确定出目标对象；触发执行针对所述目标对象的目标操作。本公开方案可实现对当前显示界面中操控对象的准确识别，便于按照用户输入信息对目标对象进行相应处理。

技术领域

本公开涉及终端操控技术领域，尤其涉及一种终端操控方法及装置。

背景技术

在智能手机、平板电脑、可穿戴设备等终端设备的使用过程中，用户通常需要通过操控终端显示界面中显示的操控对象实现与终端设备的交互。终端显示界面中显示的操控对象通常可分为归属于应用程序内的应用对象和归属于终端操作系统的系统对象。欲实现对上述应用对象和系统对象的精准操控，首先需要准确识别终端显示界面中显示的操控对象。

发明内容

有鉴于此，本公开提供一种终端操控方法及装置，可实现对当前显示界面中操控对象的准确识别，便于按照用户输入信息对目标对象进行相应处理。

根据本公开实施例的第一方面，提供了一种终端操控方法，所述方法包括：

通过调用终端操作系统提供的界面监控服务，识别终端显示界面所含的操控对象；

根据接收到的用户输入信息，从所述操控对象中确定出目标对象；

触发执行针对所述目标对象的目标操作。

可选的，当所述终端操作系统为安卓Android操作系统时，所述界面监控服务包括AccessbilitySevice服务。

可选的，所述用户输入信息包括用户语音；所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：

通过人工智能语音服务对所述用户语音进行处理，以识别出所述用户语音指示的对象信息；

根据所述对象信息从所述操控对象中确定出目标对象。

可选的，当所述目标操作涉及针对所述目标对象的触摸动作时，所述触发执行针对所述目标对象的目标操作，包括：

执行针对所述目标对象的模拟触摸动作，以完成所述目标操作。

可选的，所述根据所述对象信息从所述操控对象中确定出目标对象，包括：

获取操控对象在所述终端显示界面中对应的显示信息；

在所述对象信息匹配于任一操控对象的显示信息的情况下，将所述任一操控对象确定为所述目标对象。

可选的，所述获取操控对象在所述终端显示界面中对应的显示信息，包括：

若所述操控对象为文本对象，则通过调用所述文本对象的应用程序接口获取所述文本对象对应的显示信息；

若所述操控对象为图形对象，则截屏所述图形对象的对应区域，并基于截屏所得的图像确定所述图形对象对应的显示信息。

可选的，所述方法还包括：在所述终端显示界面中示出对应于各个操控对象的对象标识；

所述根据所述对象信息从所述操控对象中确定出目标对象，包括：

将匹配于所述对象标识的操控对象确定为所述目标对象。

可选的，所述用户输入信息包括用户操作手势，所述根据接收到的用户输入信息，从所述操控对象中确定出目标对象，包括：

确定所述用户操作手势对应的位置信息；

确定所述操控对象中匹配于所述位置信息的操控对象，以作为所述目标对象。

可选的，所述目标操作为预定义的默认操作；或者，