[发明专利]一种基于网络云的大数据分析系统及方法

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于网络云的大数据分析系统及方法。

背景技术

在网络数据规模不断加大的今天，数据的处理分析与提取是决定数据应用的最主要因素之一，在现代信息处理中，经常会在同一个区域部署同构冗余节点，由于实时采集数据的不均一和不均匀性，这种冗余节点是为了弥补实际采集过程中的不均一和不均匀性，因此是有必要存在的。但是又由于这种冗余节点的存在，在实际的数据计算和分析的过程中，CPU的计算量往往会随着冗余节点的增加而成指数增加，严重阻碍了数据采集的精度以及数据分析的速度，对数据的提取存在着滞后效应，这在实际应用中是影响数据分析处理的主要缺陷之一。

人们为了保持数据采集的完整性，对于冗余节点的处理来说是不能直接砍掉的，因此为了进一步提高计算处理分析的速度，开发使用了系统级芯片，即SoC来提高计算分析的速度，SoC系统由于系统运行功率低，运算速度快，系统的集成度很高，但是目前的SoC系统采用同构运算结构，导致SoC系统在使用和开发上存在着使用瓶颈，具体包括，设计复杂度增加、Time-to-Market因素和开发成本。

发明内容

本发明的目的在于提供一种基于网络云的大数据分析系统，提升了数据分析的速度和数据采集的精度，提升了数据提取的实时性和降低了系统的复杂度。

本发明的另一目的在于提供一种基于网络云的大数据分析方法，具有相应效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；

所述云端包括：

云端数据存储单元，用于存储云端的数据信息；

云端数据传输单元，用于连接本地端和云端的数据传输；

云端数据分析单元，用于对云端存储的数据信息进行大数据分析；

所述本低端均包括：

本低端数据传输单元，用于存储本地端的数据信息；

本低端数据传输单元，用于连接本地端和云端的数据传输；

本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析；

进一步的，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。

进一步的，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。

进一步的，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。

一种基于网络云的大数据分析方法，其特征在于，所述方法包括：

步骤1：传感器节点进行实时数据采集，经路由器将采集到的数据信息发送给数据平滑传感器节点；

步骤2：数据平滑传感器节点对接收到的数据信息进行一致性检测和三次指数平滑；获得传感器节点的最优权重i在t时刻的最优估计值X_i(t)，然后把平滑后的数据发送到父节点，采用幂均方算子完成最终的数据融合，将融合后的数据经网关发送给SOC异构系统；各传感器的最优权重i根据传感器节点数据之间的支持程度由支持度函数给出；

步骤3：所述ARM系统对该模型的四个芯片,ChipO、Chip1、Chip2和Chip3进行初始化；

步骤4：所述SOC异构系统对接收到的数据信息通过分层调用硬件类的成员函数,完成对原NCS算法面向对象的功能分解和逐层求精。

进一步的，所述ARM系统对模型的四个芯片进行初始化的方法为：计算NCS算法中的初始化参数，为程序后面的相位计算做准备；运算任务由各芯片计算集群中的协处理器来承担，通过自顶向下逐层调用的方法,实现对系统软件初始化部分的模拟和执行顺序控制。

进一步的，所述父节点在进行数据融合时，同时加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送确认时间片，而不选择在数据串通时间片内收到分片包后立即发送确认时间片。

采用上述技术方法，本发明实现的有益效果是：