[发明专利]用于可视化和解释用于情绪分析的多模态模型的系统

说明书

本发明涉及一种视觉分析系统，用于帮助用户更好地理解和诊断用于情感分析的多模态模型。通过考虑由事后解释性技术测量到的特征重要性，系统产生由多模态语言模型从三个层面(即，全局、子集和局部层面)学习到的模态内和模态间的相互作用的解释。在全局层面，本系统提取并直观地总结了三种类型的相互作用(即，主导性、互补性和冲突性)，并且采用了扩充的树状布局。在子集层面，系统利用紧凑模板总结了有影响力和频繁的多模态特征，并且使得能够使用不同的符号设计来多方面地探索用户感兴趣的特征。在局部层面，系统利用细节来可视化各个多模态实例及其解释。

技术领域

本申请涉及自然语言处理(NLP)和情感计算，更具体地，涉及一种用于可视化和解释用于情绪分析的多模态模型的系统和方法。

背景技术

多模态情感分析是自然语言处理和情感计算中的有活力的主题，其主要关注于从多个通信信道，例如语言(即文本)、语音和面部表情，来自动检测人的态度或意见。核心挑战是对复杂的模态内和模态间的相互作用进行建模，其中多模态特征正在被融合。

早期工作中，在将不同模态输入到学习模型之前，将来自不同模态的特征级联(concatenate)。相反，一些工作采用后期融合方法，该方法使用投票方案或学习模型将来自各个单模态模型(unimodal model)的决策值(decision values)进行组合。然而，这些方法忽略了跨模态相互作用(cross-modal interactions)。为了解决这些种问题，一些工作明确地计算单模态特征(unimodal feature)、双模态特征(bimodal feature)和三模态特征(trimodal feature)，并将它们与张量积(tensor product)和动态路线(dynamicrouting)融合。最近，神经网络方法普遍用于对各个模态之间的复杂相互作用(complexinterplay)进行建模。例如，研究人员已经扩展了LSTM单元和门，以用于学习多模态序列之间的时间相互作用模式(temporal interaction pattern)。提出了基于注意的RNN来学习在各个模态之中的具有循环翻译损失(cyclic translation loss)的多模态表示。设计了一种由神经网络控制的多视图门控存储器单元，其存储和预测时间跨模态相互作用(temporal cross-modal interaction)。还利用变换器注意力机制(transformerattention mechanism)来学习跨模态对齐和相互作用(cross-modal alignment andinteractions)。尽管这些神经网络相对于传统方法极大地提高了性能，但是它们复杂的体系结构严重影响了模型的可解释性。在本文中，我们构建了可视分析系统以帮助诊断用于情感分析任务的最先进的黑匣子模型。

事后可解释技术(Post-hoc explainability techniques)是指在模型训练过程之后对模型理解的单独解释方法。它们可以粗略地分为两组：模型特定方法(model-specific approach)和模型无关方法(model-agnostic approach)。模型特定方法提供了对特定类型模型的解释，其范围从浅层模型(如树集合和支持向量机)到更复杂的神经网络。相反，模型无关方法足够灵活，可应用于任何机器学习模型。根据最近的调查，存在两种主要类型的模型无关方法：简化解释和特征相关性解释。

对于属于简化解释的技术，研究人员通常建立替代模型(例如，基于规则的学习者、决策树和线性模型)以便以降低的复杂度来模仿原始模型行为。最具代表性的技术之一是LIME，其基于感兴趣的实例的邻居来构建局部线性模型来近似各个预测。特征相关性解释通过计算相关性或重要性分数来量化特征贡献。一个流行的例子是数学根值是Shapley值的SHAP，其是来自合作游戏理论的方法。SHAP为每个特征计算附加重要性分数，以描述其对给定预测结果的影响。它具有理想的特性(局部精度、缺失和一致性)，并且被证明与人类直觉一致。其他工作使用局部梯度、随机化特征排列或影响函数来公开与模型预测相关的特征。