[发明专利]用于对话系统情景匹配的多模态融合学习分析方法和系统

说明书

本发明公开了一种用于对话系统情景匹配的多模态融合学习分析方法和系统，能够提高场景匹配率，提升用户体验，更加智能理解用户需求。其技术方案为：本发明处理和理解多源模态信息，分别对图像信息、音频信息和文本信息进行特征抽取得到各自特征的向量化表达，再将这些向量化表达通过注意力机制对不同模态的动态权重进行学习调整，同时对场景定义也进行特征抽取以得到其向量化表达，再将注意力机制加权后的输出向量和场景定义特征抽取后的输出向量，通过全连接层将这两个向量进行进一步的映射以进行转换，实现最终的分类决策动作。

技术领域

本发明涉及人工智能自动对话的技术领域，具体涉及对话系统中有关情景匹配方面的多模态融合学习分析技术。

背景技术

人工智能的技术触角延伸到了现实的很多应用场景中，例如在线客服的应用，用智能客服代替传统人工客服，可大幅度提升客户服务效率，缩短用户等待时间的同时，7x24小时提供专业的客户服务，可弥补人工客服下班后无法正常提供服务的不足。此外，在电话客服系统、智能助手、服务机器人、语音家教机、车机系统、地图导航、智能音箱、语音交互电视盒、全屋智能集成等方面都有普遍性的应用。

现有市场上的对话系统中，经常需要从客户的输入来理解客户真正的意图，从而与预定义的场景进行匹配，但是用户的输入是非常多样的，包含了文本、图片、语音、链接等多种模态或者是其中几种的混合，而现存方法基本都是以文本分析为主，对于图片、语音等信息量更大的部分没有办法有效的处理，因此当遇到多样化的用户输入时，传统的方法在场景匹配率和用户体验方面会有明显的不足。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种用于对话系统情景匹配的多模态融合学习分析方法和系统，能够提高场景匹配率，提升用户体验，更加智能理解用户需求。

本发明的技术方案为：本发明揭示了一种用于对话系统情景匹配的多模态融合学习分析方法，方法包括：

步骤1：对图像信息进行向量化的特征抽取，得到能够表达图像特征的向量；

步骤2：对音频信息进行向量化的特征抽取，得到能够表达音频特征的向量；

步骤3：对文本信息进行向量化的特征抽取，以建立文本信息的稠密向量化表达；

步骤4：对场景定义进行向量化的特征抽取，得到表达场景特征的向量；

步骤5：接收步骤1至3的输出，通过注意力机制对图像、音频、文本的不同模态的动态权重学习调整，合并为更高维度组合抽象的加权后的特征向量供后续决策使用；

步骤6：接收步骤4输出的加权后的特征向量和步骤5输出的场景定义特征抽取后的向量，在卷积神经网络模型的全连接层将该两个向量进行映射转化，以使该两个向量放置到同一个向量空间中；

步骤7：接收步骤6的输出，基于同一个向量空间中的该两个向量，在卷积神经网络模型的softmax层实现分类决策动作。

根据本发明的用于对话系统情景匹配的多模态融合学习分析方法的一实施例，步骤1中对图像信息进行向量化的特征抽取是通过CNN卷积神经网络实现，以不同的感受野获得图像不同层次的抽象特征，作为图像的向量化表达。

根据本发明的用于对话系统情景匹配的多模态融合学习分析方法的一实施例，步骤2中对音频信息进行向量化的特征抽取是以MFCC梅尔频率倒谱系数作为特征抽取器来实现的，获得的13维系数作为音频的向量化表达。