[发明专利]表述内容识别方法、装置、电子设备、机器可读存储介质

说明书

本公开是关于一种表述内容识别方法、装置、电子设备、机器可读存储介质。一种表述内容识别方法，包括：在用户表述过程中，对所述用户语音以及表述部位图像进行采集；对采集的语音数据以及图像数据分别进行识别；基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容。可见，本实施例中利用语音数据和图像数据确定出用户表述的内容，克服嘈杂环境对语音识别结果的影响，有利于提高识别结果的准确度，提升用户的使用体验。

技术领域

本公开涉及控制技术领域，尤其涉及一种表述内容识别方法、装置、电子设备、机器可读存储介质。

背景技术

目前，语音识别技术得到的迅速发展，开始应用于工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。现有的语音设备上设置有麦克风阵列，通过麦克风阵列进行拾音，然后语音设备中处理器对语音数据进行降噪、语音识别以及自然语音处理，从而得到用户表述的内容。

然而，当语音设备放置在嘈杂环境下或者用户有发音障碍时，语音设备识别用户表述内容的准确率大大降低，甚至无法有效识别出用户的表述内容。

发明内容

本公开提供一种表述内容识别方法、装置、电子设备、机器可读存储介质，以解决相关技术的不足。

根据本公开实施例的第一方面，提供一种表述内容识别方法，包括：

在用户表述过程中，对所述用户语音以及表述部位图像进行采集；

对采集的语音数据以及图像数据分别进行识别；

基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容。

可选地，所述表述部位包括：口部；对采集的图像数据进行识别，包括：

对采集的图像中口部进行识别定位；

采用第一预设算法对采集图像中的口型变化进行唇语分析，得到识别的文字；或者，将采集图像中的口型与预设口型数据库中的口型数据进行匹配，得到识别的文字。

可选地，所述表述部位包括：手部；对采集的图像数据进行识别，包括：

对采集的图像中手部进行识别定位；

采用第二预设算法对采集图像中的手势变化进行手语分析，得到识别的文字；或者，将采集图像中的手势与预设手势动作数据库中的手势数据进行匹配，得到识别的文字。

可选地，所述表述部位包括：口部和手部；对采集的图像数据进行识别，包括：

对采集的图像中口部和手部分别进行识别定位；

采用第一预设算法对采集图像中的口型变化进行唇语分析，或者，将采集图像中的口型与预设口型数据库中的口型数据进行匹配，得到基于口部图像数据识别的第一文字；

采用第二预设算法对采集图像中的手势变化进行手语分析，或者，将采集图像中的手势与预设手势动作数据库中的手势数据进行匹配，得到基于手部图像数据识别的第二文字；

根据所述第一文字的识别准确率和所述第二文字的识别准确率，对所述第一文字和所述第二文字进行合成处理，得到识别的文字。

可选地，基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容，包括：

分别获取所述语音数据的识别结果和所述图像数据的识别结果的识别准确率；

将识别准确率较高的识别结果确定为识别出的表述内容。

可选地，基于所述语音数据的识别结果和所述图像数据的识别结果，确定用户表述的内容，包括：

定位基准识别结果中的文字缺失区域；