[发明专利]一种基于决策融合的多模态情感分类方法

说明书

一种基于决策融合的多模态情感分类方法属于情感分类技术领域。本发明通过对不同模态数据的特征提取和基于统计分析的特征筛选方式来建立单模态数据的特征集，然后将其输入分类模型并获得最优子分类器，然后在决策级别进行多个子分类器的融合。本发明综合考虑了所有子分类器，并根据各个分类器的性能来进行权重更新，在权重更新方式上，本发明通过计算各个分类器的累计损失来考量子分类器性能，对性能优越的分类器给予奖励，并对错分的分类器给予惩罚，实现一种综合子分类器的历史表现和当前迭代的表现来进行权重更新的方式，对各个分类器的权重赋值更加科学合理。本发明实现了更准确的多模态分类方法，综合多模态数据使模型更具解释性。

技术领域：

本发明属于情感分类技术领域，尤其涉及一种基于获取有效的多模态数据特征和在决策级别进行权重自学习融合的情感分类方法。

背景技术：

情感分类是智能理解的重要问题之一，在多媒体、社交平台以及医疗领域都要重要的应用价值。现有情感分类方法多数集中于使用单模态特征进行分类，例如文本、语音等，纳入的特征过于单一，难以获得全面的视图。但随着互联网的发展，大量多源、异构数据使情感分类问题有了更丰富的信息来源，使用多模态特征进行分类成为新的方向。但目前基于多模态数据的分类方法大多直接进行特征级别的融合，由于多模态特征的差异性，融合过程不可避免地会产生信息的损失。以上问题最终都会导致情感分类的准确性较差，难以进行有价值的应用。

特征融合领域包括早期融合和后期融合，其中后期融合也叫决策融合，决策融合不是在特征融合后训练单个模型，而是对各类特征分别训练得到后的子分类器结果进行融合。本发明将决策融合应用到多模态数据，每个子分类器只用单模态特征进行模型训练，这一定程度上保留了完整的单模态信息，单个模型更具解释性；之后再进行决策层面的融合，综合多模态信息的分类结果得到最终模型，获得更高精准度。进行决策融合时，综合多个子分类器结果的传统方式包括均值法、最大值法和多数投票法等。这些方法或者不能全面考虑所有子分类器，丧失融合的意义；或者在融合时不能考虑到各个子分类器的性能来决定最终结果，分类性能有待提高。

发明内容

本发明要解决的技术问题是，提供一种基于决策融合的多模态情感分类方法。该方法的核心技术包括从多模态数据中获取有意义的重要特征并分别训练子分类器，然后在所有样本中进行迭代，基于一种对每个子分类器的性能度量来训练每一个子分类器的权重。

一种基于决策融合的多模态情感分类方法包括以下步骤：

步骤1、获取数据集。获取一组多模态数据和对应标签数据，多模态数据可包括音频、图像以及文本类型，且各模态数据之间互相对应。

步骤2、多模态数据特征提取。对原始各模态数据，根据数据类型选择不同的方式进行特征提取。

步骤3、构建多模态数据特征集。提取到多模态特征后，采用基于统计学的方法对其从单变量分析与多变量分析两个方面进行特征筛选，从而获取各个单模态数据中有意义的特征。

步骤4、将步骤3得到的各单模态特征集与标签输入支持向量机SVM、决策树、随机森林、逻辑回归模型进行训练，得到分类准确率最高的子分类器并保存。

步骤5、对获取的各子分类器进行决策级别的融合，将各子分类器的当前准确率与历史累计损失均纳入考虑，来综合比较各个子分类器的性能与稳定性，采用一种权重自学习的方式训练各个子分类器的权重。

作为优选，步骤2具体包含以下步骤：

步骤2.1、对于获取的原始音频数据，对其进行特征提取。使用协同语音分析库COVAREP，从音频中提取梅尔倒谱系数MFCCs、音高跟踪和浊音/清音分割特征、声门源参数、峰值斜率参数和最大色散商特征。

步骤2.2、对于获取的原始图像数据，对其进行特征提取。使用面部动作编码系统FACS来进行面部表情的特征提取，包括面部标记、面部动作单元、头部姿势和视线轨迹。