[发明专利]用于可视化和解释用于情绪分析的多模态模型的系统

权利要求书

1.一种用于可视化和解释用于情绪分析的模型的视觉分析系统，包括：

存储模块，其被配置为存储所述模型和包括已处理的语言特征、听觉特征和视觉特征的多模态数据；

解释引擎模块，其被配置为利用所述已处理的语言特征、听觉特征和视觉特征来模仿所述模型的模型行为，以生成所述模型的模型行为的包括全局层面、子集层面和局部层面的多级解释；以及

视觉分析模块，其被配置为对所述模型行为的多级解释的解释结果进行多视图显示，其中

所述全局层面的解释呈现了语言模态、听觉模态和视觉模态中每个模态的重要性以及所述语言模态、所述听觉模态和所述视觉模态之间的相互作用，

所述子集层面的解释利用模板总结了有影响力且频繁的特征，并且能够使用不同的符号来探索用户感兴趣的特征，以及

所述局部层面的解释能够可视化实例及其解释。

2.根据权利要求1所述的视觉分析系统，其中，

所述视觉分析模块进一步配置为：利用概要视图、模板视图、投影视图和实例视图，对所述模型行为的多级解释的解释结果进行多视图显示。

3.根据权利要求2所述的视觉分析系统，其中

所述概要视图被配置为：呈现所述全局层面的解释，并且使用三层扩充的树状布局来呈现语言模态、听觉模态和视觉模态中每个模态的重要性以及所述语言模态、所述听觉模态和所述视觉模态之间的相互作用。

4.根据权利要求2所述的视觉分析系统，其中

所述模板视图被配置为：呈现所述子集层面的解释，并且概括了频繁地且有影响力的所述模板。

5.根据权利要求4所述的视觉分析系统，其中

所述模板视图包括模板类型、支持、重要性、以及预测和误差，使得所述模板能够根据支持、重要性和误差进行排序。

6.根据权利要求2所述的视觉分析系统，其中

所述投影视图被配置为：呈现所述子集层面的解释，并且将所述模板视图中的所述模板与实例连接，使得能够检查关于所述实例中的特征的详细信息。

7.根据权利要求6所述的视觉分析系统，其中在所述投影视图中：

所述视觉特征利用包括偏航、俯仰和滚动轴维度的切尔诺夫脸谱图表示；

所述语言特征用单词或词语来表示；

所述听觉特征内圈和围绕所述内圈的多个扇区来表示，所述多个扇区分别指示所述音高、所述振幅、所述喉音和所述相位。

8.根据权利要求2所述的视觉分析系统，其中

所述实例视图被配置为：呈现所述局部层面的解释，并且通过使实例的特征可视化来提供关于所述语言模态、听觉模态和视觉模态中的每个模态及其特征的重要性的局部解释。

9.根据权利要求8所述的视觉分析系统，其中

所述实例视图还提供用于实例级探索的视频情景。

10.根据权利要求1所述的视觉分析系统，其中，

所述相互作用包括主导性、互补性和冲突性，其中

主导性表示：一种模态主导了情绪预测的极性，

所述互补性表示：两种或三种模态对模型预测的影响方向相同，

所述冲突性表示：模态对模型预测的影响不同。

11.根据权利要求1所述的视觉分析系统，其中

所述解释引擎模块被进一步配置为：根据已处理的语言特征、听觉特征和视觉特征，来识别所述语言模态、听觉模态和视觉模态之间的所述相互作用。

12.根据权利要求4所述的视觉分析系统，还包括：模板构造模块，其被配置为：

基于所述语言特征、所述听觉特征、以及所述视觉特征来构造特征集；

为频繁出现的特征或对模型预测具有强烈影响的特征构造模板，作为所述模板视图中的频繁地且有影响力的模板。