[发明专利]一种无障碍通信方法和装置

权利要求书

1.一种无障碍通信方法，其特征在于，所述的方法包括：

提供引导页面，所述引导页面显示虚拟用户；

在所述引导页面触发进入到通信页面时，将所述引导页面缩小为第二区域，并跟随所述第二区域显示第一区域，生成对应的通信页面，所述通信页面包括：第一区域和第二区域；

接收第一手语视频数据，所述第一手语视频数据至少包含第一用户的面部和手部影像；

在第一区域显示第一手语视频数据；

播放第一语音数据，所述语音数据为以句子为基准对所述第一手语视频数据进行语义识别得到的第一语音数据；

接收第二语音数据；

在第二区域显示包含第二用户的第二手语视频数据，所述第二用户为虚拟用户，所述第二手语视频数据为利用所述第二语音数据生成的手语视频数据；

还包括：接收对所述通信页面中虚拟人调整控件的触发；

在所述通信界面中显示多个可选择的第二用户；

依据选择指令，确定目标第二用户，以将第二手语视频数据中的虚拟用户调整为所述目标第二用户。

2.根据权利要求1所述的方法，其特征在于，还包括：

对所述第一手语视频数据进行语义识别，生成对应的第一语音数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一手语视频数据进行语义识别，确定对应的第一语音数据，包括：

对所述第一手语视频数据进行特征识别，提取对应的手语特征，所述手语特征包括：手势特征，所述手语特征还包括以下至少一种：轨迹特征、表情特征、情绪特征；

对所述手语特征进行分析，确定对应的手语句子；

将所述手语句子作为第一文本数据，生成对应的第一语音数据。

4.根据权利要求3所述的方法，其特征在于，所述对所述手语特征进行分析，确定对应的手语句子，包括：

对所述手语特征进行分析，确定对应的手语词汇；

对所述手语词汇进行语义分析，确定对应的手语句子。

5.根据权利要求1所述的方法，其特征在于，第二手语视频数据为利用所述第二语音数据的语音识别结果生成的手语视频数据。

6.根据权利要求5所述的方法，其特征在于，第二手语视频数据中第二用户的手部动作和/或面部表情是基于第二语音数据的语音识别结果生成。

7.根据权利要求1所述的方法，其特征在于，所述接收第一手语视频数据，包括：

通过图像采集单元采集第一手语视频数据；或

从服务端接收第一手语视频数据，所述第一手语视频数据为远端设备的图像采集单元采集并上传到服务端的。

8.根据权利要求1所述的方法，其特征在于，还包括：

当检测所述第一手语视频数据符合手语条件时，上传所述第一手语视频数据到服务器；所述手语条件包括以下至少一种：手势条件、肢体轨迹条件。

9.根据权利要求8所述的方法，其特征在于，上传视频数据之前还包括以下至少一种步骤：

对第一视频数据进行采样处理，得到待上传的第一视频数据；

降低第一视频数据的分辨率，得到待上传的第一视频数据；

从所述第一视频数据中提取手语特征，将所述手语特征作为待上传的第一视频数据。

10.根据权利要求8所述的方法，其特征在于，还包括：

接收服务端第一语音数据；和/或

接收所述第一语音数据对应的第一文本数据，并在所述通信页面中显示所述第一文本数据。

11.根据权利要求1所述的方法，其特征在于，所述接收第二语音数据，包括：

通过音频采集单元采集第二语音数据；和/或

接收服务端发送的第二语音数据，所述第二语音数据为远端设备的音频采集单元采集并上传到服务端的。