[发明专利]相关叙述

说明书

用于生成相关叙述的计算设备和方法。在一个实例中，该计算设备包括显示图形用户界面的显示设备，该图形用户界面包括从第一应用程序接收的文本信息。该计算设备的电子处理器接收与被调度用于叙述的文本信息相关联的用户界面元素。电子处理器从用户界面元素中提取多个实体，使用第二应用程序将所述多个实体转换为叙述字符串，使用叙述字符串生成文本信息的相关叙述，并输出该相关叙述。

技术领域

实施例涉及用于生成在显示器上的用户界面中呈现的文本信息的相关叙述的系统和方法。

背景技术

用户通常通过图形用户界面(例如，图形用户界面(GUI))与运行软件程序或应用程序的计算机进行交互。用户可以使用触摸板、键盘、鼠标或其它输入设备来输入命令、选择和其它输入。然后，应用程序响应或处理该输入。图形用户界面可以以诸如文本或图像等可视形式，向用户呈现链接、控件、数据或其它交互选项。虽然图形用户界面很有用，但有时候听觉或音频界面是有用的。例如，当用户视力受损或者查看图形用户界面不可能或不切实际时(例如，当用户在开车，保持他或她的目光在前方的道路上时)，音频界面很有用。

发明内容

基于叙述的应用程序通常通过阅读(例如，通过文本到语音转换)以文字或逐字方式显示在屏幕上的信息，来提供包含在图形用户界面中的信息。通常，现有的基于叙述的应用程序提供二元体验(换言之，是提供叙述还是不提供叙述)。除了调整语音的速度或声音特征(男性、女性等)之外，指定向用户读出的信息的保真度水平是不可行的。如上所述，现有应用程序被设计为尽力准确地阅读屏幕上的内容，以确保从视觉体验到听觉体验的转换中的保真度。但是，字面阅读图形用户界面中的元素通常会产生很难理解的音频输出。另外，主要为可视化框架构建的用户界面无法很好地转化为可听见的体验。目前可用的基于叙述的用户界面通常无法考虑在从显示器屏幕可视地收集信息时发生的人类认知过程，并将这些认知过程转换为在听觉上收集信息时发生的过程。通常使用上下文和关联来扫描并由人眼和大脑重新扫描在显示屏上展示的信息。这便于信息的导航。将文本和/或图形信息转换为音频格式(具有精确度)会导致听众对于详细信息过载，这是因为流式格式妨碍用户高效地扫描/重新扫描素材。因此，任务完成时间通常会增加到原始视觉任务完成时间的三到十倍，这是因为听众很难理解他们正在听什么。例如，诸如VoiceOver的可访问性解决方案仅阅读与计算机系统相关联的显示屏上提供的内容。在决定叙述体验应该是什么时，通常不考虑计算机系统已知的但驻留在用户界面之外的信息。一些实施例提供具有可由用户选择或自动(基于与特定应用程序的交互)的操作模式的计算设备，其允许叙述器将应用程序之外的信息进行组合，以便将来自图形用户界面中的文本的字面阅读的叙述体验转换或者扩充到与在显示器上看到的内容“相关”的叙述体验。在一个例子中，计算设备被配置为从用户界面提取对象并将其与诸如文档、联系人、时间、位置、浏览历史、社交图信息、以及来自与当前用户相关联的其它应用程序的信息之类的已知对象进行比较。在另一个例子中，用户能够激活计算设备内的用户可选择模式以提供相关叙述。在一些实施例中，可以通过访问实体提取模块以生成文本信息的相关叙述，来执行文本信息的相关叙述。

本文提供的实施例允许叙述器将诸如“jdoe@example.com”之类的信息的读出替换为“John Doe”，这是因为电子邮件地址jdoe@email.com映射到存储在计算机系统内的用户的已知联系人。类似地，不是阅读网页界面上的时间戳(例如，下午12点01分)，而是可以基于将该时间戳与同计算机系统相关联的本地时间进行比较，使用对相同信息的相对指示(例如，“几分钟前”或“刚才”)来进行叙述。在一个例子中，可以以友好的方式或者更常用的方式读出系统已知的位置。例如，可以将地址“1060 W.Addison,Chicago,IL”读作“Wrigley球场”。