[发明专利]智能设备的语音控制方法、系统和电子设备

权利要求书

1.一种智能设备的语音控制方法，其特征在于，包括：

获取用户用于控制智能设备的语音信息和所述用户在施加所述语音信息时的情绪信息；

对所述语音信息进行分词处理并将分词后的每个词通过词嵌入模型以获得输入向量的序列，且将所述情绪信息通过所述词嵌入模型以获得情绪向量；

将所述输入向量的序列和所述情绪向量分别通过基于转换器的编码器模型以获得语音特征向量的序列和情绪特征向量；

计算所述情绪特征向量与所述语音特征向量的序列中的每个语音特征向量之间的相似度以获得情绪上下文向量；

将所述语音特征向量的序列中的每个语音特征向量输入解码器模型以获得由每个所述语音特征向量对应的情绪标签分类概率值组成的情绪标签分类概率向量；

计算所述情绪上下文向量与所述情绪标签分类概率向量之间的基于所述编码器模型的转换器结构的掩码转换器值向量；

以所述掩码转换器值向量中各个位置的掩码转换器值作为加权系数，对所述语音特征向量的序列中的每一个语音特征向量进行加权以获得加权后语音特征向量的序列；

将所述加权后语音特征向量的序列中的每个加权后语音特征向量拼接为分类特征向量；

将所述分类特征向量通过分类器以获得所述语音信息的情绪标签；以及

基于所述情绪标签和所述语音信息，确定对所述智能设备的控制指令类型。

2.根据权利要求1所述的智能设备的语音控制方法，其中，获取用户用于控制智能设备的语音信息和所述用户在施加所述语音信息时的情绪信息，包括：

获取所述用户用于控制所述智能设备的语音数据；以及

对所述语音数据进行语音识别以获得所述语音信息。

3.根据权利要求2所述的智能设备的语音控制方法，其中，获取用户用于控制智能设备的语音信息和所述用户在施加所述语音信息时的情绪信息，包括：

获得所述用户在发出所述语音数据时的生理信号；

对所述生理信号进行基于傅里叶变换的特征提取以获得生理向量；

使用包括全连接层和一维卷积层的编码器对所述生理向量进行编码以获得生理特征向量；以及

将所述生理特征向量通过分类器以获得情绪类别信息作为所述情绪信息。

4.根据权利要求3所述的智能设备的语音控制方法，其中，计算所述情绪特征向量与所述语音特征向量的序列中的每个语音特征向量之间的相似度以获得情绪上下文向量，包括：

计算所述情绪特征向量与所述语音特征向量的序列中的每个语音特征向量之间的L2距离作为所述相似度以获得所述情绪上下文向量。

5.根据权利要求3所述的智能设备的语音控制方法，其中，计算所述情绪特征向量与所述语音特征向量的序列中的每个语音特征向量之间的相似度以获得情绪上下文向量，包括：

计算所述情绪特征向量与所述语音特征向量的序列中的每个语音特征向量之间的余弦距离作为所述相似度以获得所述情绪上下文向量。

6.根据权利要求4或5所述的智能设备的语音控制方法，其中，计算所述情绪上下文向量与所述情绪标签分类概率向量之间的基于所述编码器模型的转换器结构的掩码转换器值向量，包括：

以如下公式计算所述情绪上下文向量与所述情绪标签分类概率向量之间的基于所述编码器模型的转换器结构的掩码转换器值向量；

所述公式为：

V_c是情绪上下文向量，V_i是情绪标签分类概率向量，d是V_c与V_i之间的距离，且M表示在每个语音特征向量的编码过程中是否存在掩码，如果存在M取值为α，否则取值为-α。

7.根据权利要求6所述的智能设备的语音控制方法，其中，将所述分类特征向量通过分类器以获得所述语音信息的情绪标签，包括：

将所述分类特征向量输入所述分类器的Softmax分类函数以获得所述分类特征向量归属于各个情绪标签的概率值；以及

将所述概率值最大的情绪标签确定为所述语音信息的情绪标签。