[发明专利]使用循环神经网络融合多模态数据

说明书

实施例涉及用于采用深度学习技术以跨模态融合数据的系统、程序产品和方法。接收多模态数据集，其包括具有第一模态的第一数据集和具有第二模态的第二数据集，其中第二模态不同于第一模态。处理第一数据集和第二数据集，包括：将第一数据集编码成一个或多个第一向量，以及将第二数据集编码成一个或多个第二向量。分析经处理的多模态数据集，并且迭代且异步地融合来自第一模态和第二模态的已编码特征。经融合的模态包括经组合的来自第一和第二数据集的表示相关的时间行为的向量。然后，经融合的向量被返回作为输出数据。

技术领域

本实施例涉及被配置为跨两个或更多个模态融合数据的人工智能平台。更具体地，给定具有表示数值时间序列数据的至少一个模态和表示带时间戳的文本数据的至少一个模态的多模态数据集，实施例涉及自动发现在数值时间序列数据随时间演进时使数值时间序列数据的性能和行为强相关的文本特征子集。

背景技术

与几乎每个学科有关的数据来自采用各种格式和模态的各种不同来源。最近的深度学习技术利用来自多种模态和格式的信息来创建执行各种任务(诸如图像标注、医学诊断和治疗推荐等)的模型。在文献中已经提出了关于如何融合来自多个模态的数据的各种技术。

三种常见的融合技术是(a)早期融合(在数据特征级别)，(b)晚期融合(在决策级别)，以及(c)中间融合(在(a)、(b)之间权衡)。大多数融合模型要求来自不同模态的数据在时间戳或间隔上被正确地对齐，以便针对给定目标跨多个模态提取有用的特征。由于数据粒度、数据的采样或性质，对齐所有模态可能是不可行的，并且为了正确地对齐它们，还假设关于模态的先验知识。因此，在本领域中需要解决上述问题。

发明内容

从第一方面来看，本发明提供了一种计算机系统，其包括：处理器，其可操作地耦合到存储器；人工智能(AI)平台，其与处理器通信，具有采用深度学习技术以跨模态融合数据的机器学习(ML)工具，该工具包括：第一数据馈送管理器，其可操作地耦合到第一数据集，第一数据集具有采用第一数据格式的第一模态；第二数据馈送管理器，其可操作地耦合到第二数据集，第二数据集具有采用第二数据形式的第二模态，第二模态不同于第一模态；第一数据馈送管理器将第一数据集编码成第一向量集；第二数据馈送管理器将第二数据集编码成第二向量集；分析器，其可操作地耦合到第一数据馈送管理器和第二数据馈送管理器，分析器利用人工循环神经网络(RNN)来分析经编码的第一数据集和第二数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合包括组合来自第一数据集和第二数据集的表示相关的时间行为的向量；以及经融合的矢量被返回作为输出数据。

从另一方面来看，本发明提供了一种采用深度学习技术以跨模态融合数据的计算机程序产品，该计算机程序产品包括随其体现程序代码的计算机可读存储介质，程序代码可由处理器执行以：接收多模态数据集，多模态数据集包括来自两个或更多个模态的采用不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；分别处理第一数据集和第二数据集，包括：将第一数据集编码成一个或多个第一向量，并将第二数据集编码成一个或多个第二向量；分析经处理的多模态数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合模态包括组合来自第一数据集和第二数据集的表示相关的时间行为的向量；以及返回经融合的向量作为输出数据。

从另一方面来看，本发明提供了一种方法，其包括：由计算设备接收多模态数据集，多模态数据集包括来自两个或更多个模态的采用不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；分别处理第一数据集和第二数据集，包括：将第一数据集编码成一个或多个第一矢量，并将第二数据集编码成一个或多个第二矢量；分析经处理的多模态数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合包括组合来自第一数据集和第二数据集的表示相关的时间行为的向量；以及返回经融合的向量作为输出数据。