[发明专利]基于多模态数据的决策树分类方法与系统

权利要求书

1.一种基于多模态数据的决策树分类方法，其特征在于，所述方法包括如下步骤：

步骤一，根据多模态数据的各个模态类型，利用ResNet神经网络模型与CLIP神经网络模型提取所述多模态数据的一维特征向量；

步骤二，将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率；

步骤三，拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，并输入至多层线性网络中以计算得到伪视图的各类别预测概率；

步骤四，根据所述多模态数据的各类别预测概率与所述伪视图的各类别预测概率，对多模态数据与伪视图的数据质量进行动态评估，以生成融合权重并计算得到各类别融合预测概率；

步骤五，将所述各类别融合预测概率输入至决策树，在决策树中进行软推理，选择概率最大的一项作为预测结果，并使用决策树路由信息对所述预测结果进行解释。

2.根据权利要求1所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤二中，计算所述多模态数据的各类别预测概率的方法包括如下步骤：

将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率，对应的计算公式表示为：

；

其中，表示第个模态数据的各类别预测概率，表示第个模态数据的一维特征向量，，表示第个模态数据的一维特征向量的长度，表示实数集，表示分类类别的个数，表示第个模态数据相应的多层线性网络层数，表示第个模态数据的输入向量长度为且输出向量长度为的线性层网络。

3.根据权利要求2所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤三中，计算得到伪视图的各类别预测概率的方法包括如下步骤：

拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，对应的公式表示为：

；

其中，表示所述伪视图一维特征向量，表示拼接操作，表示第个模态数据的一维特征向量，表示多模态数据的模态个数；

将所述伪视图一维特征向量输入至多层线性网络中，以计算得到伪视图的各类别预测概率，对应的公式表示为：

；

其中，表示所述伪视图一维特征向量的长度，表示所述伪视图的各类别预测概率，表示伪视图的多层线性网络层数，表示第个伪视图中输入向量长度为的M分类类别的伪视图线性层网络，表示第个伪视图中输入向量长度为且输出向量长度为的伪视图线性层网络。

4.根据权利要求3所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤四中，生成融合权重并计算得到各类别融合预测概率的方法包括如下步骤：

根据所述多模态数据的各类别预测概率，对多模态数据进行动态评估，对应的公式表示为：

；

其中，表示第个模态数据的数据质量，表示第个模态数据的第个类别的预测概率，表示第个模态数据的第个类别的预测强度；

根据所述伪视图的各类别预测概率，对伪视图的数据质量进行动态评估，对应的公式表示为：

；

其中，表示第个伪视图的数据质量，表示第个伪视图的第个类别的预测概率，表示第个伪视图的第个类别的预测强度；

融合所述多模态数据的各类别预测概率和所述伪视图的各类别预测概率，以计算得到各类别融合预测概率，对应的公式表示为：

；

其中，表示归一化系数，表示第个类别的融合预测概率。