[发明专利]基于多维标识的数据可视化处理方法和系统

说明书

技术领域

本发明涉及数据的分析、处理技术领域，具体涉及一种基于多维标识的数据可视化处理方法和系统。

背景技术

科技在进步，社会在发展，数据可视化也要适应时代的需求，除了要在数据处理和数据展示方面下足功夫外，还要强调功能易用性和操作人性化，且不要有太高的学习门槛，除了技术人员，让更多的业务人员能够了解数据平台，了解数据可视化。数据可视化的应用价值，其多样性和表现力吸引了许多从业者，而其创作过程中的每一环节都有强大的专业背景支持。无论是动态还是静态的可视化图形，都为我们搭建了新的桥梁，让我们能洞察世界的究竟、发现形形色色的关系，感受每时每刻围绕在我们身边的信息变化，还能让我们理解其他形式下不易发掘的事物。在大数据时代背景下，数据分析需要大数据的支持才有价值。可视化图表工具在大数据时代，显得尤为关键。

数据可视化都是和数据分析功能组合，数据分析又需要数据接入整合、数据处理、ETL等数据功能，发展成为一站式的大数据分析平台。

目前，数据分析大多采用聚类分析将相似的样品归类，最后得到一个反映样品亲疏关系的谱系图。聚类分析比较简便易行，但是，聚类分析的缺点是将一些高维的样品强行纳入一个一维的谱系分类中，常常使原始样品之间的关系简单化，甚至有时失真。

另外，数据分析的方法还有多维标度法，其方法是将几个高维研究对象，在近似的意义下，从高维约简到一个较低维的空间内，并且寻求一个最佳的空间维度和空间位置(如2维或3维)且仍保持各研究对象数据的原始关系。

而通过多维标度法分析大数据，已经是一个较为成熟的技术，在相关的领域已经有十分不错的成效，但目前将多维标度法与数据可视化相结合十分罕见，且实施起来也有诸多难点需要攻克。

发明内容

本发明为了解决现有技术存在的上述技术问题，提供了一种基于多维标识的数据可视化处理方法和系统，从而实现了多维标识法与数据可视化相结合对数据进行分析处理，方便现有数据分析、数据管理、以及后期阶段性的数据预测。

为实现上述目的，本发明提供了一种基于多维标识的数据可视化处理方法，包括以下步骤：

通过互联网技术采集与选定主体相关的客户端大数据；

将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；

将有效数据进行降维度处理得到低维度数据；

采用HTML 5<canvas>标签，通过JavaScript调用canvas的API实现对低维度数据的图像绘制，以使得具有千万量级的数据通过简单的可视化数据图展示处理。

作为本发明的优选技术方案，将有效数据进行降维度处理得到低维度数据具体包括以下步骤：

界定目标，确定与选定主题密切相关的目标；

采用多维标识法，降低有效数据的维度；

以空间图的方式用最少的维度拟合输出数据。

作为本发明的优选技术方案，采用多维标识法，降低有效数据的维度具体包括以下步骤：

按不同的维度对有效数据进行划分；

通过时间节点对有效数据分类得到第一数据；

通过动作节点对有效数据分类得到第二数据；

将分类后的第二数据进行排点。

作为本发明的优选技术方案，采用Principal Component Analysis算法对数据的维度进行降低处理。

作为本发明的优选技术方案，Principal Component Analysis算法的计算方法如下：

设n维向量w为目标子空间的一个坐标轴方向，该坐标轴方向称为映射向量，最大化数据映射后的方差如下公式：

其中m是数据实例的个数，xi是数据实例i的向量表达，是所有数据实例的平均向量；

W为包含所有映射向量为列向量的矩阵，经过线性代数变换，得到如下优化目标函数：

其中tr表示矩阵的迹，A是数据协方差矩阵。

本发明还提供了一种基于多维标识的数据可视化处理系统，包括：

数据采集模块，用于通过互联网技术采集与选定主体相关的客户端大数据；

数据导入模块，用于将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；

数据多维标识处理模块，用于将有效数据进行降纬度处理得到低维度数据；以及