[发明专利]语音到文本转换

说明书

公开了涉及将来自环境的音频输入转换成文本的各实施例。例如，在一个公开的实施例中，语音转换程序接收来自头戴式显示设备的话筒阵列的音频输入。从环境中捕捉图像数据，并且从图像数据中检测一个或多个可能的脸。眼睛跟踪数据被用于确定用户聚焦于的目标脸。波束成形技术被应用于音频输入的至少一部分以标识与目标脸相关联的目标音频输入。这些目标音频输入被转换成通过头戴式显示设备的透明显示器来显示的文本。

技术领域

本发明涉及计算机，尤其涉及语音到文本的转换技术。

背景技术

具有听觉障碍的人可以使用一种或多个技术来理解源自另一个人或设备的可听到的语音和/或其它声音。例如，在讲话者正在讲话且有听觉障碍的人可以看到讲话者的嘴巴的情况下，这个人可以使用唇读技术来理解该语音的内容。然而，要使用这样的技术需要这个人学习唇读技术。而且，在这个人对讲话者的查看受到限制或阻挡的情况下，这样的技术不能够提供令人满意的协助。

另一种可能性是由第三方将语音翻译成特定的手语，该手语可以被掌握该手语的人理解。第三方还可以将语音改写成可由这个人阅读的书面形式。然而，使第三方可用于执行这样的翻译和改写强加了相当大的限制。

另一个方案可以使用语音识别技术来接收语音、解释语音和将语音可视地呈现给有听觉障碍的人。然而，当讲话者没有清楚直接地对着接收话筒讲话和/或当背景噪声过多时，这种技术的准确度通常变坏。因此，并且尤其在嘈杂和拥挤的环境中，这样的技术可能是不切实际的且少有帮助。而且，有听力能力的人也可能遇到涉及许多人和/或过多噪声的情形，例如社交聚会、贸易展等，在这些情形中难以或不可能听到另一个人的语音。

发明内容

本文公开了与语音转换系统有关的各实施例。例如，一个公开的实施例提供了一种用于将来自环境的音频输入转换成文本的方法。所述方法包括捕捉来自环境的图像数据并从该图像数据检测一个或多个可能的脸。来自头戴式显示设备的眼睛跟踪系统的眼睛跟踪数据被用于确定用户所聚焦于的目标脸。

一种波束成形技术可以被应用到来自头戴式显示设备的话筒阵列的音频输入中以标识与目标脸相关联的目标音频输入。所述方法包括将目标音频输入转换成文本。所述方法还包括通过头戴式显示设备的透明显示器来显示文本。

提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

附图说明

图1是根据本公开的一实施例的语音转换系统的示意图。

图2示出根据本公开的一实施例的示例头戴式显示设备。

图3是房间中佩戴图2的头戴式显示设备的用户以及三个其他人的示意性透视图。

图4A和4B示出了用于根据本公开的一实施例来将来自环境的音频输入转换成文本的方法的流程图。

图5是计算设备的一实施例的简化示意图解。

具体实施方式

图1示出了语音转换系统10的一个实施例的示意图。语音转换系统10包括可被存储在计算设备22的大容量存储18中的语音转换程序14。如以下更详细描述的，语音转换程序14可以包括语音聚焦程序24和波束成形器程序26。

语音转换程序14可被加载到存储器28中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。又如下文更加详细描述的，大容量存储18还可以包括脸部检测程序84、用户聚焦程序86、手语程序88以及唇读程序90。