[发明专利]使用循环神经网络融合多模态数据

权利要求书

1.一种计算机系统，包括：

处理器，其可操作地耦合到存储器；

人工智能(AI)平台，其与所述处理器通信，具有采用深度学习技术以跨模态融合数据的机器学习(ML)工具，所述工具包括：

第一数据馈送管理器，其可操作地耦合到第一数据集，所述第一数据集具有采用第一数据格式的第一模态；

第二数据馈送管理器，其可操作地耦合到第二数据集，所述第二数据集具有采用第二数据形式的第二模态，所述第二模态不同于所述第一模态；

所述第一数据馈送管理器将所述第一数据集编码成第一向量集；

所述第二数据馈送管理器将所述第二数据集编码成第二向量集；

分析器，其可操作地耦合到所述第一数据馈送管理器和所述第二数据馈送管理器，所述分析器利用人工循环神经网络(RNN)来分析经编码的第一数据集和第二数据集，包括迭代且异步地融合来自所述第一数据模态和所述第二数据模态的已编码特征，所述融合包括组合来自所述第一数据集和所述第二数据集的表示相关的时间行为的向量；以及

经融合的向量被返回作为输出数据。

2.根据权利要求1所述的系统，其中，来自所述第一数据集的第一输入数据表示带时间戳的文本数据馈送，并且来自所述第二数据集的第二输入数据表示时间序列数据。

3.根据权利要求2所述的系统，其中，所述迭代且异步地融合包括：所述RNN将所述第二数据集的所述时间序列数据的时间行为与来自所述第一数据集的代表性的经编码的向量相关。

4.根据权利要求2所述的系统，其中，所述迭代且异步地融合包括：所述RNN从所述第一数据集中滤除与在所述经编码的第二数据集中确定的模式无关的一个或多个代表性向量。

5.根据权利要求2至4中任一项所述的系统，其中，对基于文本的模态进行编码包括：所述第一数据馈送管理器学习词之间的语义依赖性，并将所述文本聚合成每个输入文本文档的代表性向量。

6.根据前述权利要求中任一项所述的系统，其中，分析所述经编码的第一数据集和第二数据集进一步包括：所述RNN探索来自不同采样频率的至少两个时间序列的信息并使其相互关连。

7.一种用于采用深度学习技术以跨模态融合数据的方法，所述方法包括：

由计算设备接收多模态数据集，所述多模态数据集包括来自两个或更多个模态的不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；

分别处理所述第一数据集和所述第二数据集，包括：将所述第一数据集编码成一个或多个第一矢量，以及将所述第二数据集编码成一个或多个第二矢量；

分析经处理的多模态数据集，包括迭代且异步地融合来自所述第一数据模态和所述第二数据模态的已编码特征，所述融合包括组合来自所述第一数据集和所述第二数据集的表示相关的时间行为的向量；以及

返回经融合的矢量作为输出数据。

8.根据权利要求7所述的方法，其中，来自所述第一数据集的第一输入数据表示带时间戳的文本数据馈送，并且来自所述第二数据集的第二输入数据表示时间序列数据。

9.根据权利要求8所述的方法，其中，所述迭代且异步地融合包括：将所述第二数据集的所述时间序列数据的时间行为与来自所述第一数据集的代表性的经编码的向量相关。

10.根据权利要求8所述的方法，其中，所述迭代且异步地融合包括：从所述第一数据集中滤除与在所述经编码的第二数据集中确定的模式无关的一个或多个代表性向量。

11.根据权利要求8至10中任一项所述的方法，其中，对基于文本的模态进行编码包括：学习词之间的语义依赖性，并将所述文本聚合成每个输入文本文档的代表性向量。