[发明专利]表述内容识别方法、装置、电子设备、机器可读存储介质

权利要求书

1.一种表述内容识别方法，其特征在于，包括：

在用户表述过程中，对所述用户语音以及表述部位图像进行采集；

对采集的语音数据以及图像数据分别进行识别；

基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容。

2.根据权利要求1所述的表述内容识别方法，其特征在于，所述表述部位包括：口部；

对采集的图像数据进行识别，包括：

对采集的图像中口部进行识别定位；

采用第一预设算法对采集图像中的口型变化进行唇语分析，得到识别的文字；或者，将采集图像中的口型与预设口型数据库中的口型数据进行匹配，得到识别的文字。

3.根据权利要求1所述的表述内容识别方法，其特征在于，所述表述部位包括：手部；

对采集的图像数据进行识别，包括：

对采集的图像中手部进行识别定位；

采用第二预设算法对采集图像中的手势变化进行手语分析，得到识别的文字；或者，将采集图像中的手势与预设手势动作数据库中的手势数据进行匹配，得到识别的文字。

4.根据权利要求1所述的表述内容识别方法，其特征在于，所述表述部位包括：口部和手部；

对采集的图像数据进行识别，包括：

对采集的图像中口部和手部分别进行识别定位；

采用第一预设算法对采集图像中的口型变化进行唇语分析，或者，将采集图像中的口型与预设口型数据库中的口型数据进行匹配，得到基于口部图像数据识别的第一文字；

采用第二预设算法对采集图像中的手势变化进行手语分析，或者，将采集图像中的手势与预设手势动作数据库中的手势数据进行匹配，得到基于手部图像数据识别的第二文字；

根据所述第一文字的识别准确率和所述第二文字的识别准确率，对所述第一文字和所述第二文字进行合成处理，得到识别的文字。

5.根据权利要求1-4任一项所述的表述内容识别方法，其特征在于，基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容，包括：

分别获取所述语音数据的识别结果和所述图像数据的识别结果的识别准确率；

将识别准确率较高的识别结果确定为识别出的表述内容。

6.根据权利要求1-4任一项所述的表述内容识别方法，其特征在于，基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容，包括：

定位基准识别结果中的文字缺失区域；

将辅助识别结果中与文字缺失区域对应区域的文字填充至所述文字缺失区域；

将填充后的基准识别结果确定为识别出的表述内容；

其中，基准识别结果为所述语音数据的识别结果和所述图像数据的识别结果中的一种，则另一种为辅助识别结果；文字缺失区域包括识别结果中识别准确率低于预设值或者无法识别出的文字对应的区域。

7.一种表述内容识别装置，其特征在于，包括：

数据采集模块，用于在用户表述过程中，对所述用户语音以及表述部位图像进行采集；

数据识别模块，用于对采集的语音数据以及图像数据分别进行识别；

内容确定模块，用于基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容。

8.根据权利要求7所述的表述内容识别装置，其特征在于，所述表述部位包括：口部；所述数据识别模块包括：

口部定位单元，用于对采集的图像中口部进行识别定位；

口语识别单元，用于采用第一预设算法对采集图像中的口型变化进行唇语分析，得到识别的文字；或者，将采集图像中的口型与预设口型数据库中的口型数据进行匹配，得到识别的文字。