[发明专利]人机交互方法、装置和系统

说明书

人机交互方法、装置和系统，涉及人机交互技术领域，有助于实现将一个或多个用户的语音内容输出并显示到触摸屏上对应的输出位置，提升触摸屏输入的效率和用户的体验。该人机交互方法包括：建立第一声纹与触摸屏上的第一输出位置的对应关系；接收第一语音，在判断所述第一语音的声纹与所述第一声纹匹配时，识别该语音的内容，并将此内容输出并显示到所述第一输出位置。

技术领域

本申请涉及人机交互技术领域，尤其涉及人机交互方法、装置和系统。

背景技术

人机交互(human computer interaction，HCI；或者，human machineinteraction，HMI)是一门研究系统与用户之间的交互关系的学问。这里的系统可以是各种各样的机器，也可以是计算机化的系统和软件。在涉及触摸屏输入的人机交互中，可以通过触摸操作来实现输入。但由于成本和技术的原因，通过触摸操作来实现触摸屏上输入的方式，经常会出现手写连笔和笔迹难控制的情况，导致输入困难和输入效率低下。

发明内容

本申请提供的人机交互方法、装置和系统，通过多模态(modality)人机交互的方式，有助于实现将一个或多个用户的语音内容输出并显示到触摸屏上对应的输出位置，提升触摸屏输入的效率和用户的体验。

为达上述目的，本申请提供如下技术方案：

第一方面，本申请提供了一种人机交互方法，该人机交互方法应用于人机交互系统。该方法包括：首先建立第一声纹与触摸屏上的第一输出位置的对应关系；然后在接收到第一语音、并判断该语音的声纹与上述第一声纹匹配时，识别该语音的内容，并将识别的内容输出并显示上述第一输出位置。

通过本申请的第一方面，可以实现将一个或多个用户输入的语音内容输出并显示到触摸屏上用户指示的输出位置上，避免多人同时通过语音输入时，将不同用户的语音内容混淆显示在触摸屏上的问题，因此可以提升触摸屏输入的效率和体验。

结合第一方面，在一种可能的实现中，上述建立第一声纹与触摸屏上的第一输出位置的对应关系的过程，可以为：接收触摸操作以及第二语音，并且在判断该触摸操作与预定的第一规则匹配、且该第二语音与预定的第二规则匹配时，根据所述触摸操作的位置确定触摸屏上的第一输出位置，并从上述第二语音中提取第一声纹；然后建立该第一声纹与上述第一输出位置的对应关系。

结合第一方面，在一种可能的实现方式中，上述根据所述触摸操作的位置确定第一输出位置的过程，可以为：根据所述触摸操作的位置中的触点位置集合确定所述第一输出位置的起始位置和范围。

可选地，上述第一输出位置所指示的形状可以为矩形，圆形或菱形等。当上述第一输出位置所指示的形状为矩形时，所述第一输出位置可以包括左上角的坐标、以及宽度和高度。或者，所述第一输出位置还可以包括其起始位置和结束位置，例如第一输出位置的左上角坐标和右下角坐标。

可选地，系统还可以输出并在触摸屏上显示该第一输出位置。例如以边框、或者其他可以与触摸屏当前背景相区分的形式显示所述第一输出位置。此外，当上述第一语音的内容超过了第一输出位置所能输出的上限时，系统还可以在第一输出位置的水平或处置方向生成、并在触摸屏上显示该滚动条。这种实现方式下，可以保证用户输入的语音内容都被记录下来，并且便于用户随时翻看任何被记录的语音内容，因而可以进一步提升用户的体验。

结合第一方面，在一种可能的实现方式中，上述判断触摸操作与预定的第一规则匹配的过程，可以为：判断所述触摸操作的位置中的触点位置集合与预定的位置规则一致。或者，识别所述触摸操作的位置中的触点位置集合所构成的形状，判断所述形状与预定的形状匹配。

结合第一方面，在一种可能的实现方式中，上述判断第二语音与预定的第二规则匹配的过程，可以为：识别该第二语音的内容，并判断此内容与预定的内容匹配。