[发明专利]属性识别方法和装置

权利要求书

1.属性识别方法，包括：

获取来自至少两个模态的用于对所述属性进行识别的原始数据；其中，所述至少两个模态的原始数据的语义的相似度大于预定值；

分别对所述至少两个模态的原始数据进行特征挖掘，得到各个模态对应的属性特征；其中，所述属性特征为能够对所述属性产生影响的特征；

将得到的各个模态对应的属性特征进行融合，得到融合特征；

利用所述融合特征，得到所述属性的识别结果。

2.根据权利要求1所述的方法，其中，当所述至少两个模态中包括语音模态时，所述属性特征包括语音特征向量和语音对齐矩阵；

所述获取来自至少两个模态的用于对所述属性进行识别的原始数据，包括：获取来自语音模态的用于对所述属性进行识别的语音信号；

所述对所述至少两个模态的原始数据进行特征挖掘得到各个模态对应的属性特征，包括：

将所述语音信号按照预设的第一时间长度切分成至少两帧，得到时域切分信号；

将所述时域切分信号进行傅里叶变换，得到频域切分特征；

利用至少一个特征提取卷积核对所述频域切分特征进行属性特征提取，得到提取特征；

根据所述提取特征，分别得到对应该语音模态的语音特征向量和语音对齐矩阵；其中，所述语音对齐矩阵中表征帧的维度大小与所述语音特征向量中表征帧的维度大小相等。

3.根据权利要求2所述的方法，其中，所述时域切分信号中相邻两帧的信号具有预设的第二时间长度的时间重叠，且所述第二时间长度小于所述第一时间长度。

4.根据权利要求2所述的方法，其中，所述至少一个特征提取卷积核包括第一卷积核、第二卷积核和第三卷积核；且第一卷积核与所述第二卷积核的大小不同，所述第二卷积核与所述第三卷积核的大小相同；

所述利用至少一个特征提取卷积核对所述频域切分特征进行属性特征提取得到提取特征，包括：

利用所述第一卷积核对所述频域切分特征进行特征提取，得到第一提取特征；

利用所述第二卷积核对所述第一提取特征进行特征提取，得到第二提取特征；

利用所述第三卷积核对所述第二提取特征进行特征提取，得到所述提取特征。

5.根据权利要求2所述的方法，其中，所述根据提取特征得到对应该语音模态的语音特征向量，包括：

利用自注意力机制对所述提取特征进行局部属性特征挖掘，得到对应该语音模态的语音特征向量；其中，所述局部属性特征为能够表征所述属性的细节的特征。

6.根据权利要求2所述的方法，其中，所述根据提取特征得到对应该语音模态的语音对齐矩阵，包括：

利用预设的第四卷积核对所述提取特征对应的矩阵进行扫描；其中，所述第四卷积核的大小满足：能够使所述语音对齐矩阵中用于表征帧的维度大小与所述语音特征向量中用于表征帧的维度大小相等；以及，

将各次扫描结果中的最大值所构成的矩阵确定为所述语音模态的语音对齐矩阵。

7.根据权利要求1所述的方法，其中，当所述至少两个模态中包括文本模态时，所述属性特征包括文本特征向量和文本对齐矩阵；

所述获取来自至少两个模态的用于对所述属性进行识别的原始数据，包括：获取来自文本模态的用于对所述属性进行识别的文本数据；

所述对所述至少两个模态的原始数据进行特征挖掘得到各个模态对应的属性特征，包括：

将所述文本数据输入到预先训练的文本提取模型中进行特征提取，得到所述文本特征向量；其中，所述文本提取模型的训练方法包括：利用至少一组样本集训练得到；每一组样本集中包括一个字符信息和一个编码信息；

利用预先设定的线性变换参数对所述文本特征向量进行线性变化，得到所述文本对齐矩阵；其中，所述文本对齐矩阵的列维度大小与通过所述语音信号得到的语音特征向量的列维度大小相等。