[发明专利]一种对多个高维数据进行可视化比较的降维方法

说明书

本发明提供了一种对多个高维数据进行可视化比较的降维方法，接收待处理的两个高维数据集；对两个数据集计算边相似度；使用t分布‑随机近邻嵌入方法对第一个数据集进行降维处理；基于边相似度，将边向量约束引入到t分布‑随机近邻嵌入方法的优化方程中，通过求解优化得到第二个数据集的降维结果。本发明能够实现适用于比较任务的一致性降维结果。

技术领域

本发明属于数据可视化技术领域，具体涉及一种对多个高维数据进行可视化比较的降维方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

降维是一个将高维数据映射到可感知的低维空间中并尽量保持原始空间中数据点的相互关系的过程。降维能够揭示高维数据的底层分布和拓扑结构，使得人类的分析和解释成为了可能，因此广泛应用在数据挖掘、机器学习和生物信息学等多个领域。常用的降维方法包括t分布-随机邻近嵌入(t-SNE)，主成分分析(PCA)，多维度缩放(MDS)等。

可比较降维作为传统降维的扩展，用于处理一系列的动态高维数据集。比如比较深度神经网络不同层的输出。最简单的方式就是对每个数据单独降维。但是由于许多降维方法的随机性和不可预测的优化过程，这种方式通常会引入不符合需求的变化，比如不同帧之间同一个数据点的位置发生偏移。因此，可比较降维的一般目标是在实现序列降维结果的视觉一致性的同时维持降维的保真度。

已有的可比较降维的方法根据数据变化的类型可以划分为以下两种：

增量式的降维方法，其中数据在每一个时间帧中存在一个增量或者累加式的更新，之前的点通常维持在静态的位置。例如增量式主成分分析(incremental PCA)，通过在两个相邻的降维结果中找到公共数据点的最优重叠，然后使用位置估计算法支持对数据中添加非均匀维度的数据点.

时变的降维方法，数据点的特征在不同时间帧之间发生变化，而数据点的数目没有变化。动态t分布-随机近邻嵌入(Dynamic t-SNE)在t-SNE的基础上引入一个额外的损失函数项，其作用惩罚每个数据点在不同降维结果中位置的移动。尽管这种方式实现了视觉上的一致性，但对每个点绝对位置的严格约束很容易导致降维结果的扭曲。除此之外，Dynamic t-SNE一次性接收一系列数据集一起优化，引起极大的计算负担，这对硬件也是个挑战，因此不适合流式数据的降维。

发明内容

本发明为了解决上述问题，提出一种对多个高维数据进行可视化比较的降维方法，本发明能够实现适用于比较任务的一致性降维结果。

根据一些实施例，本发明采用如下技术方案：

一种对多个高维数据进行可视化比较的降维方法，包括以下步骤：

接收待处理的两个高维数据集；

对两个数据集计算边相似度；

使用t分布-随机近邻嵌入方法对第一个数据集进行降维处理；

基于边相似度，将边向量约束引入到t分布-随机近邻嵌入方法的优化方程中，通过求解优化得到第二个数据集的降维结果。

作为可选择的实施方式，对两个数据集计算边相似度的过程包括：

接收输入的两个高维数据集，使用KD树分别构建k近邻图；

对两个在k近邻图中寻找所有包含节点的图元，将归一化的图元频率分布作为该节点的特征向量；

基于每个节点的特征向量计算两个相邻时间帧的k近邻图中公共边的相似度。

作为进一步的限定，将归一化的图元频率分布作为该节点的特征向量的具体过程：对于两个k近邻图中的所有节点，分别统计包含它们的所有图元的频率分布。