[发明专利]人机语音交互的实现方法及装置、电子设备、存储介质

说明书

本申请公开了一种人机语音交互的实现方法及装置、电子设备、存储介质，其中，所述方法包括：采集目标用户的彩色图像以及深度图像；从所述彩色图像中提取出所述目标用户的人脸关键信息，以及从所述深度图像中提取出所述目标用户的身体姿态信息；基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态；其中，所述目标状态包括目标情绪状态以及极端行为状态；所述目标情绪状态指代指定的不良情绪状态；若识别出所述目标用户处于任意一个目标状态，则启动语音对话模式，并向指定联系人发送提示信息。从而在用户出现不良情绪或者做出极端行为时，及时地自动与用户进行语音交互。

技术领域

本申请涉及语音交互技术领域，特别涉及一种人机语音交互的实现方法及装置、电子设备、存储介质。

背景技术

抑郁症是全球四大疾病之一，据统计全球目前有超过3亿人患有抑郁症，每年都有出现许多抑郁症患者自残、或者自杀的事件。

对于抑郁症患者，需要经常有人与其进行沟通，特别在出现情绪低落或者抑郁时，与他人进行沟通，能有效地避免患者做出自残等极端行为。但是，有患者出现抑郁的时间点不一定，而大部分情况下又无法保证有人在身边，并且患者也相对排斥与他人沟通。所以，相对较好的方式，则是与设备进行语音交互。

但是，现今的设备的语音交互方式，主要都是针对使用设备的逻辑实现的语音交互，并且都需要人为主动先发起唤醒词进行唤醒后，才能语音交互，而抑郁症患者情绪较差时，不可能主动发起唤醒词进行语音交互，所以现有人机语音交互方式并不能很好的适用于抑郁症患者。

发明内容

基于上述现有技术的不足，本申请提供了一种人机语音交互的实现方法及装置、电子设备、存储介质，以解决现有的方式需要人为主动唤醒，不适用于抑郁症患者的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请第一方面提供了一种人机语音交互的实现方法，包括：

采集目标用户的彩色图像以及深度图像；

从所述彩色图像中提取出所述目标用户的人脸关键信息，以及从所述深度图像中提取出所述目标用户的身体姿态信息；

基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态；其中，所述目标状态包括目标情绪状态以及极端行为状态；所述目标情绪状态指代指定的不良情绪状态；

若识别出所述目标用户处于任意一个目标状态，则启动语音对话模式，并向指定联系人发送提示信息。

可选地，在上述的人机语音交互的实现方法中，所述基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态，包括：

基于所述目标用户的人脸关键信息，识别所述目标用户是否处于所述目标情绪状态，以及基于所述目标用户的身体姿态信息，识别所述目标用户是否处于所述极端行为状态。

可选地，在上述的人机语音交互的实现方法中，所述基于所述目标用户的人脸关键信息，识别所述目标用户是否处于所述目标情绪状态，包括：

将所述目标用户的人脸关键信息输入第一神经网络模型中进行计算，得到第一数值；其中，若所述第一数值大于第一预设阈值，则识别出所述目标用户处于所述目标情绪状态；所述第一神经网络模型预先通过在各个指定的不同情绪状态下采集到的人脸关键信息训练得到。

可选地，在上述的人机语音交互的实现方法中，基于所述目标用户的身体姿态信息，识别所述目标用户是否处于所述极端行为状态，包括：