[发明专利]人机交互系统及其方法、终端设备

说明书

本发明公开了一种人机交互系统及其方法、终端设备，所述人机交互系统包括：一显示设备；以及一终端设备，所述终端设备通过一连接线与所述显示设备连接；其中，所述显示设备通过USB‑TP连接协议与终端设备相互通信，以在所述显示设备上投射所述终端设备的显示屏所输出的显示内容。本发明中通过显示设备通过USB‑TP连接协议与终端设备相互通信，并在所述显示设备上投射所述终端设备的显示屏所输出的显示内容。

技术领域

本发明涉及计算机技术领域，尤其涉及一种人机交互系统及其方法、终端设备。

背景技术

增强现实(Augmented Reality简称AR)/虚拟现实(Virtual Reality简称VR)设备可以使用户不再受终端设备的显示屏物理尺寸限制，随时随地以较大的显示屏浏览自己想查看的信息。AR技术不仅可以展现真实世界的信息，而且将虚拟的信息同时显示出来，两种信息互相补充和叠加将虚拟的信息投影到真实世界，被人类感官所感知。而VR技术可以渲染整个场景，从而使人类获得超越现实的感官体验。

但是市场上的AR/VR设备存在以下问题，首先AR/VR设备的应用生态匮乏，内容单一，用户无法获得多样化的体验；其次市面上普通的AR/VR设备受第三方手机权限的限制，导致第三方应用程序使用受限，影响用户体验。

发明内容

本发明实施例提供一种人机交互系统及其方法、终端设备，能够有效解决目前用户在佩戴AR/VR设备时，无法实现终端设备同步操作的问题。

根据本申请的一方面，本发明实施例提供一种人机交互系统，包括：一显示设备；以及一终端设备，所述终端设备通过一连接线与所述显示设备连接；其中，所述显示设备通过USB-TP连接协议与终端设备相互通信，以在所述显示设备上投射所述终端设备的显示屏所输出的显示内容。

进一步地，所述显示设备包括一头部追踪模块，用于获取所述显示设备的移动路径。

进一步地，所述显示设备包括一模拟显示屏触摸模块，与所述头部追踪模块连接，用于获取所述显示设备中的感应光标的移动路径。

进一步地，所述终端设备包括一显示屏触摸模块，用于获取用户触摸所述终端设备的显示屏的触摸路径，并传送至所述显示装置。

进一步地，所述终端设备还包括一语音识别模块，与所述显示屏触摸模块连接，所述语音识别模块用于将用户的语音转换为文本。

进一步地，所述连接线为USB Type-C线或DP线。

根据本申请的另一方面，本发明实施例提供一种人机交互方法，包括以下步骤：检测是否连接至显示设备；当检测到连接至显示设备时，获取用户触摸终端设备的显示屏的触摸路径；当所述触摸路径位于所述终端设备显示屏中部的直线时，显示所述终端设备的显示屏的主界面；当所述触摸路径位于所述终端设备显示屏两侧的直线时，显示所述终端设备的显示屏的当前显示界面的上一个显示界面；以及当所述触摸路径为折线时，激活所述显示设备中的感应光标。

进一步地，在当所述触摸路径为折线时激活所述显示设备中的感应光标步骤之后，所述方法还包括步骤：检测用户触摸所述终端设备的显示屏的压力值是否大于预设值；当检测到用户触摸所述终端设备的显示屏的压力值大于预设值时，开启语音识别服务；以及当检测到用户触摸终端设备显示屏的压力值不大于预设值时，关闭语音识别服务。

进一步地，当检测到连接至显示设备，所述方法还包括步骤：显示设备获取所述显示设备的移动路径；以及当所述移动路径为折线时，显示设备激活所述显示设备中的感应光标。

根据本申请的又一方面，本发明实施例提供一种终端设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述所述的人机交互方法中的步骤。