[发明专利]时空数据变分编解码跨模态增强方法

权利要求书

1.一种时空数据变分编解码跨模态增强方法，其特征在于包括如下步骤：根据已有飞行器相关的轨迹数据生成相应的语义文本信息，辅助时空数据深度分析以及扩充相关领域文本数据，将原始时空轨迹数据送入变分编解码器，嵌入式表示学习模块对不同模态数据采用各自的自编码网络进行编码层表示学习不同模态数据，利用获得时空数据的潜在语义编码向量，并通过变分循环编码模块引入深度神经网络，借助长短期记忆网络LSTM对应跨模态数据的编码层的距离，基于轨迹描述变分编解码网络建模时间、速度、航向经度和维度重要信息，在时空数据上进行跨模态增强，实现时空数据跨模态转换，最小化实现保持度量学习、排序，得到在时空数据上进行跨模态不同模态表达的增强实数值，以及构的编码，然后，变分编解码生成模块基于变分模态分解(VMD)对时空数据中重要程度不同的部分进行匹配追踪(MP)和注意力机制分配，实现关键数据段自动分配高权重和非关键数据段自动分配低权重，基于跨模态数据语义标注，在不同的跨模态数据信息提供下，通过语句变分编解码生成的增强时空轨迹描述文本数据，输出对应语境描述轨迹详情的增强文本数据。

2.如权利要求1所述的时空数据变分编解码跨模态增强方法，其特征在于：在原始时空数据处理阶段，变分编解码器采用原始时空数据处理模块处理具体场景下各类飞行器由大量点迹构成的飞行器时空轨迹数据：、对输入轨迹数据中的定位数据不准确、数据不完整、数据缺失、数据不一致的轨迹类别特征进行分析和预处理，提取生成文本数据中关于飞行时间、起点位置、中途经历、终点位置的关键信息构建轨迹摘要，作为训练样本的核心字段。

3.如权利要求1所述的时空数据变分编解码跨模态增强方法，其特征在于：表示学习模块在多模态表示学习中，采用加权的排序数据对损失函数选择最具判别性的负样本进行基于共同表示的排序学习，同时，基于间隔的损失函数进行建模，以使得模态内相似的样本具有相似的共同表示；利用跨模态数据间提供的数据语义信息数据的单标签或多标签语义标注，计算跨模态数据间相似度信息，进行相关分析，语义预测、度量学习、学习排序和对抗学习，基于当前数据提供的语义信息进行微调。

4.如权利要求1所述的时空数据变分编解码跨模态增强方法，其特征在于：时空数据变分编解码跨模态增强流程分为三个部分，一是输入，二是处理流程，三是输出，其中，输入对应的原始时空轨迹数据，即飞行器单条轨迹数据；处理流程对应基于变分编解码器的编码和解码过程，主要包括轨迹嵌入表示学习阶段、变分循环编码阶段、变分解码生成阶段三个部分；输出对应的描述轨迹详情的文本数据。

5.如权利要求4所述的时空数据变分编解码跨模态增强方法，其特征在于：轨迹嵌入表示学习阶段，表示学习模块通过嵌入轨迹表示学习，融合先验的摘要信息和轨迹数据的自身属性，借鉴分布式词向量表示的思想，将轨迹单元视为词语，利用无监督学习的方式将轨迹单元映射到连续的向量空间中，挖掘邻近轨迹单元之间的隐含语义联系和上下文关系，进而得到轨迹的语义表示。

6.如权利要求4所述的时空数据变分编解码跨模态增强方法，其特征在于：变分循环编码阶段，变分循环编码模块采用不同的神经网络进行各自模态高层语义表示学习，并在该神经网络层进行一一对应关系保持，基于变分编解码器通过激活函数进行二值化变换，计算不同模态内数据间的相似度矩阵，并基于该相似度矩阵进行线性加权，直接进行数据间相似性与非相似性的计算，生成跨模态数据间相似度，以线性判别分析为优化目标与实际相似度对齐，得到跨模态统一度量矩阵，其中，实际相似度计算由语义信息提供。