[发明专利]用于可视化和解释用于情绪分析的多模态模型的系统

摘要

本发明涉及一种视觉分析系统，用于帮助用户更好地理解和诊断用于情感分析的多模态模型。通过考虑由事后解释性技术测量到的特征重要性，系统产生由多模态语言模型从三个层面(即，全局、子集和局部层面)学习到的模态内和模态间的相互作用的解释。在全局层面，本系统提取并直观地总结了三种类型的相互作用(即，主导性、互补性和冲突性)，并且采用了扩充的树状布局。在子集层面，系统利用紧凑模板总结了有影响力和频繁的多模态特征，并且使得能够使用不同的符号设计来多方面地探索用户感兴趣的特征。在局部层面，系统利用细节来可视化各个多模态实例及其解释。