[实用新型]支持资源动态征用的超大规模数据处理装置

说明书

技术领域

本实用新型涉及数据处理装置，具体的讲是支持资源动态征用的超大规模数据处理装置。

背景技术

随着云计算和大数据技术的发展，需要处理的数据量越来越庞大，各个行业中的超大规模数据通常来自不同领域和不同方式。例如，警务超大规模数据，可以来自于工商、税务、交通、金融等其他领域，以及公安内部的户籍、治安、出入境等不同业务部门。超大规模数据由于规模巨大，因此一般采用分散存储和管理的模式，在业务处理中进行远程共享和关联访问。

传统的大数据处理技术，采用的是专门建设的集群方式进行计算。面对分散存储的超大规模数据处理时，需要将分散数据传输到计算集群中进行处理，因此对带宽要求极高。在很多警务场景中，网络带宽根本无法满足这种计算模式的需求。

实用新型内容

本实用新型提供了一种支持资源动态征用的超大规模数据处理装置，当处理装置自身的内部资源不够用时，可自动对外部资源进行征用，以及在有安全威胁时支持在线拓扑变形。

本实用新型的支持资源动态征用的超大规模数据处理装置，具有包括装置外壳的本体，在本体上设有包括征用数据接口和任务数据接口的数据采集接口，在本体内设有包括与所述征用数据接口相连的征用数据处理器，征用数据处理器通过磁盘阵列连接至计算处理器阵列后与所述数据采集接口相连；征用数据处理器与征用数据接口之间设有网络集成器，网络集成器与管理主机相连，所述的磁盘阵列还与所述的网络集成器连接。

管理主机内具有管理处理器、管理存储介质等设备，负责对设备内各部件和数据的总体处理。征用数据接口可以根据实际需要征用其他外部资源，对所控制的其他各部件的参数进行优化配置，使其满足不同环境下的性能需求，例如可以通过数据采集接口获取任务数据和外部征用的资源数据，还可以通过相应的接口连接鼠标、键盘、显示器等外设设备，来支持对征用数据接口的运行进行显示和配置。所述的其他外部资源包括外接的其他的PC机、平板电脑、手机、嵌入式设备等。由于是细粒度的征用，征用的资源还可以包括各种一体机中的存储，计算资源等。征用指令被直接发送到被征用设备，由被征用设备完成计算。被征用设备完成计算后，其结果可能返回征用数据接口，也可能发送给下一台征用设备进行计算，最终结果将由征用数据接口接收。

磁盘阵列用于存储设备内各部件的计算或获取到的数据，并且采用阵列结构具有快速的存取速度和容错性能，还具有快速的故障诊断速度，可允许技术人员快速隔离和替换磁盘设备，由存储设备自身便很大程度的保障了数据存储的安全性。

计算处理器阵列中为了能够适应超大数据的计算，可以设置至少6组计算处理器，形成阵列结构。计算处理器阵列用于计算请求得到的数据，并在本地执行数据计算，将获得的结果发送出去。计算处理器阵列计算的资源有两个获取渠道，一个是从数据采集接口得到的计算任务，第二个是计算本装置内部包含的常规的计算任务。

本实用新型中涉及到的各处理器均可采用现有的CPU或MCU，其中的各处理程序均可由本领域技术人员按照实际应用的需要，根据本领域常规技术可以实现的。

进一步的，征用数据处理器还连接有与所述网络集成器相连的拓扑处理单元。拓扑处理单元是根据安全情况来动态更改硬件间的拓扑结构，拓扑处理单元与征用数据处理器有一个专用的数据连接通道。当拓扑处理单元当检测到系统出现安全问题的时候，位于征用数据处理器中已存在的拓扑任务就可能会受到安全攻击。因此这次情况下，拓扑处理单元会动态改变拓扑顺序来解除不安全的隐患。动态改变拓扑的原理是由一个设定的存储区域来存储各关联的IP地址与接口名的字典，通过改变字典内容，改变不同的设备连接顺序。

进一步的，在磁盘阵列和网络集成器之间设有异常检测处理器，异常检测处理器的输出端与设于本体上的状态显示屏连接。异常检测处理器主要用于对网络、部件的异常行为检测，对数据包的正常行为进行特征分析，建立特征库，得到预测评估可靠性模型，通过该模型自动与当前数据包实时分析的特征进行对比，检测异常行为，并在检测过程中及时更新特征库以使特征库保持最新状态。同时，异常检测处理器还会对设备内的各部件进行故障检测，对检测出的故障先进行自动修复，对不能自动修复的故障则将故障信息发送到状态显示屏上。

进一步的，还设有分别与所述征用数据处理器和网络集成器连接的日志传输接口，可以将相关日志进行导出，便于查看。

在此基础上，管理主机还连接有状态检测处理器，状态检测处理器与设于本体上的状态显示屏连接。状态检测处理器用于对各部件的运行状态进行监测，例如内存使用率、存储装置剩余空间、各处理器的使用率等。