[发明专利]一种大数据处理的监测系统及方法

说明书

本发明提供一种大数据处理的监测系统及方法，涉及数据处理技术领域，该系统包括：上位机控制模块、协议解析模块以及运行监测模块，其中所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块均与所述协议解析模块以及所述运行监测模块建立连接，所述上位机程序控制模块、所述运行监测模块与所述协议解析模块建立连接，本发明实现快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种大数据处理的监测系统及方法。

背景技术

在目前的大数据处理系统中，一般会使用现场可编程逻辑门阵列(FieldProgrammable Gate Array，FPGA)处理系统采集到的大数据，如图1，通常FPGA大数据处理系统可分为数据采集缓存模块10、数据预处理模块20、数据计算模块30、处理结果缓存模块40、处理结果打包模块50和万兆网模块60，各个模块按照不同的大数据处理需求对采集系统采集到的大数据进行相应的处理计算，最终可以将处理的结果以用户数据包格式通过万兆网发送至存储服务器用于科学观测研究，万兆网发送的数据帧帧头会包含数据的相关信息，上位机通过数据帧头和包含的数据是否正常判断接收到的数据是否正确。

FPGA大数据处理系统受到环境温度、环境湿度、硬件老化、器件损坏等因素影响，有可能会导致处理的数据出现异常或者错误，仅通过数据帧包含的数据是否正常判断接收到的数据是否正确，存在无法及时发现错误的缺陷。FPGA大数据处理系统的处理流量十分庞大，每秒钟可达几百Gb，若是有部分数据帧出现错误，通常难以发现错误，且一旦发现错误，就需要从代码开始进行分析，定位问题是出现在FPGA系统中还是硬件层面比较困难，定位问题出现的关键点更是需要大量时间进行分析，设计调试以及维护都十分麻烦，且需要的时间非常长，效率低下。

发明内容

本发明提供一种大数据处理的监测系统及方法，用以解决现有技术中大数据系统在定位问题出现的关键点、设计调试以及维护都十分不便的缺陷，实现快速定位错误关键点以便于及时修复问题，减少经济损失，极大提高了调试维护效率。

本发明提供一种大数据处理的监测系统，包括顺序连接的数据采集缓存模块、数据预处理模块、数据计算模块、处理结果缓存模块、处理结果打包模块和万兆网模块，该系统还包括：

上位机控制模块、协议解析模块以及运行监测模块，其中：

所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块均与所述协议解析模块以及所述运行监测模块建立连接，所述上位机程序控制模块、所述运行监测模块与所述协议解析模块建立连接。

根据本发明提供的一种大数据处理的监测系统，所述协议解析模块用于解析所述上位机控制模块下发的数据包，并根据所述数据包中包含目的寄存器地址以及所述目的寄存器对应的所述控制指令，发送至对应的目的寄存器，以及，获取关键信号和过程数据，并将所述关键信号和所述过程数据打包后发送至所述上位机控制模块；其中，目的寄存器为其中一个或者多个运行监测模块中的接收寄存器，所述关键信号包括所述控制指令和状态信息。

根据本发明提供的一种大数据处理的监测系统，所述上位机控制模块内存储有编写完毕的所述数据包，所述数据包与该系统基于简单文件传输协议建立通信。

根据本发明提供的一种大数据处理的监测系统，所述上位机控制模块输出状态检测结果，所述状态检测结果用于描述所述上位机控制模块抓取的数据的情况，用以展示该系统的运行状态。

根据本发明提供的一种大数据处理的监测系统，所述运行监测模块嵌入在所述数据采集缓存模块、所述数据预处理模块、所述数据计算模块、所述处理结果缓存模块、所述处理结果打包模块和所述万兆网模块中。