[发明专利]时空数据变分编解码跨模态增强方法

说明书

本发明公开的一种时空数据变分编解码跨模态增强方法，具有鲁棒性。本发明通过下述技术方案予以实现：根据已有飞行器相关的轨迹数据生成相应的语义文本信息，将原始时空轨迹数据送入变分编解码器，表示学习模块利用获得时空数据的潜在语义编码向量，通过变分循环编码模块引入深度神经网络，对应跨模态数据编码层的距离，在时空数据上增强跨模态；最小化保持度量学习、排序，得到在时空数据上进行跨模态不同模态表达的增强实数值以及向量编码，变分编解码生成模块基于变分模态分解对时空数据中重要程度不同的部分进行匹配追踪(MP)和注意力机制分配，通过语句变分编解码生成增强的时空轨迹描述文本数据，即对应语境描述轨迹详情的增强文本数据。

技术领域

本发明是关于多模态学习、时空数据分析等诸多数据挖掘领域的数据增强技术，特别是涉及时空数据跨模态增强技术。

背景技术

在一个由大量不同模态内容(文本、图像、视频、音频、传感器数据、3D等)构建而成的多媒体世界里，涉及多个模态的数据的交互，例如图像和视频的检索，字幕，视频摘要，文本到图像和视频的预测与合成，语言驱动的时空动作定位，以及视觉常识推理等等。随着信息技术的飞速发展，数据量呈现爆炸式增长，跨模态任务也越来越多，数据之间存在的耦合关系越来越复杂，数据分析的难度日益增大。同时，由于不同模态的内容在具体事件和应用中具有高度相关性，数据之间存在着一定的潜在联系，往往可以利用多模态内容特征学习、实体识别、知识图谱、逻辑推理、语言表达等方面的多种技术对其进行一定的转换，使得我们能够更好地理解原始数据所表示的复杂含义，利用不同模态内容的相关性发现某些跨模态任务隐藏的规律，进行相关性系统性能优化。由于技术的崛起很大程度上取决于底层技术的发展和突破，多模态学习对于实际系统的性能优化至关重要，同时也是一个难题。它通常需要将不同模态数据嵌入到一个公共表示空间中，以便进行对齐、比较和融合。早期人们使用的手工方法，是根据先验知识和常识寻找一个良好的嵌入空间，但如何找到最佳嵌入空间是一个极其困难的问题。而现在，虽然能够借助深度学习技术已经能够轻松寻找良好的嵌入空间，但是目前大多数深度学习方法依赖于大量有标注的数据，要想获得更好的性能，就必须拥有更多的有标注数据，这成为了一个主要瓶颈。在实践中，对大量数据进行标注并使训练收敛到最佳位置，其困难程度丝毫不亚于手工制作一个良好的嵌入空间。对于多模态学习、跨模态学习更是如此，因为它需要同步标注对齐的多模态数据，例如图像和语音对齐。多模态数据的迅速增长衍生了各种各样的检索、搜索技术。通常，跨模态检索的目的是以一种模态的数据作为查询来检索相关的其他模态数据。然而这些搜索技术大多是针对单一模态内检索，如基于关键字的检索和基于内容的检索，它们只执行相同媒体类型的相似性搜索，如文本检索、图像检索、音频检索和视频检索。与传统的单模态检索方法相比，跨模态检索需要构建跨模态关系模型，以便用户可以通过提交他们所拥有的模态来检索他们期望的模态。跨模态检索的挑战在于如何度量不同模态数据之间的内容相似性，也称之为异质鸿沟问题(heterogeneity gap)。这些技术大致包含7类，即典型相关分析、一一对应关系保持、度量学习、似然分析、学习排序、语义预测以及对抗学习。但是无法囊括近些年来涌现的新方法和新工作，无法涵盖跨模态检索任务的所有重要问题。