[发明专利]用于远程应用和桌面的语音识别支持

摘要

应用可被托管以供远程计算平台使用。可识别由所托管的应用生成的用户界面(UI)的UI元素。可生成代理UI元素。代理UI元素中的每个可对应于识别出的UI元素中的一个或多个。可处理音频样本的转录。音频样本可包括远程计算平台的用户的话语。音频样本的转录可包括对应于代理UI元素中的一个或多个的至少一个词。可调用所托管的应用的功能。被调用的功能可与对应于代理UI元素中的一个或多个的UI元素中的一个或多个相对应。

主权项

一种用于远程应用和桌面的语音识别支持的方法，所述方法包括：托管一个应用以供远程计算平台使用；识别由所托管的应用生成的图形用户界面UI的多个UI元素；识别多个属性，所述多个属性包括所述多个UI元素的一个经标记的UI元素的一个或多个UI元素标记；基于识别出的多个属性，生成多个代理UI元素，所述多个代理UI元素中的每个对应于所述多个UI元素中的一个或多个，其中每个各自的代理UI元素与一个或多个词相关联，所述一个或多个词对应于所述多个属性中的一个或多个属性；将所述多个代理UI元素和由所托管的应用生成的所述图形用户界面UI传送至所述远程计算平台；处理音频样本的转录，所述音频样本包括所述远程计算平台的用户的话语，并且所述音频样本的转录包括对应于所述多个代理UI元素中的一个或多个的至少一个词，其中所述至少一个词包括对应于所述经标记的UI元素的所述一个或多个UI元素标记中的至少一个的词；以及将所托管的应用的当前选择的UI元素从所托管的应用的所述当前选择的UI元素改变成所述经标记的UI元素。