[发明专利]基于多模态数据的决策树分类方法与系统

说明书

本发明提出一种基于多模态数据的决策树分类方法与系统，通过神经网络提取多模态数据特征向量，利用线性网络计算各模态各类别预测概率，拼接一维特征向量生成伪视图并计算伪视图各类别预测概率，同时动态评估各模态及伪视图的数据质量进行融合，综合利用了多模态数据的互补能力，有效提高了分类预测的准确率；与此同时，将各类别融合预测概率输入决策树，在决策树中进行软推理，并使用决策树路由信息对预测结果进行解释，能够说明预测的依据，增强预测结果的可信度。

技术领域

本发明涉及计算机数据处理技术领域，特别涉及一种基于多模态数据的决策树分类方法与系统。

背景技术

可解释性是指人能够理解模型在其决策过程中怎么决策、为什么决策，以及决策了什么。现如今，可解释性已被认为是人工智能能否被广泛应用的关键因素。随着人工智能在自动驾驶、医疗诊断、保险以及金融服务等诸多应用领域的广泛发展，当系统做出决策或提出建议时，出于实际因素和社会法律原因，系统向用户、开发人员以及监管机构提供解释是必不可少的。此外，设计人员和开发人员也需要可理解性以加强系统，使决策不存在偏见、不公平和歧视，并增加所有用户对决策原因和方式的信任。

目前，在机器学习领域，模型的可解释性与模型的准确度之间存在权衡。能够直观理解预测原理的模型往往有着较差的预测性能，复杂的黑盒模型具有良好的预测性能，却很难理解模型如何做出决策。当前可解释模型常见的方法包括三种：（a）全局解释，一次性在数据集上对整个模型的决策进行解释；（b）局部解释，对特定的实例进行解释；（c）自省解释，对输入输出之间的联系进行解释。这些可解释方法的准确性和有效性仍然较低，可解释框架仍然有待完善。

基于此，有必要提出一种新型的面向多模态数据的决策树分类方法，以尽可能全面地利用数据中蕴含的信息，增强可解释方法的准确性和有效性，同时增强模型的可解释性，以提高运行效率。

发明内容

为此，本发明的实施例提出一种基于多模态数据的决策树分类方法与系统，以解决上述技术问题。

本发明提出一种基于多模态数据的决策树分类方法，其中，所述方法包括如下步骤：

步骤一，根据多模态数据的各个模态类型，利用ResNet神经网络模型与CLIP神经网络模型提取所述多模态数据的一维特征向量；

步骤二，将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率；

步骤三，拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，并输入至多层线性网络中以计算得到伪视图的各类别预测概率；

步骤四，根据所述多模态数据的各类别预测概率与所述伪视图的各类别预测概率，对多模态数据与伪视图的数据质量进行动态评估，以生成融合权重并计算得到各类别融合预测概率；

步骤五，将所述各类别融合预测概率输入至决策树，在决策树中进行软推理，选择概率最大的一项作为预测结果，并使用决策树路由信息对所述预测结果进行解释。

本发明还提出一种基于多模态数据的决策树分类系统，其中，应用如上所述的基于多模态数据的决策树分类方法，所述系统包括：

特征提取模块，用于：

根据多模态数据的各个模态类型，利用ResNet神经网络模型与CLIP神经网络模型提取所述多模态数据的一维特征向量；

第一预测模块，用于：

将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率；

第二预测模块，用于：

拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，并输入至多层线性网络中以计算得到伪视图的各类别预测概率；

第三预测模块，用于：

根据所述多模态数据的各类别预测概率与所述伪视图的各类别预测概率，对多模态数据与伪视图的数据质量进行动态评估，以生成融合权重并计算得到各类别融合预测概率；