[发明专利]一种基于大数据平台的数据处理系统

说明书

本发明公开了一种基于大数据平台的数据处理系统，其通过数据筛选模块对大数据平台的数据按所设定的筛选条件进行筛选，然后将所筛选的图像数据、文档数据和音视频数据分别进行压缩。本发明可以将大数据平台的数据进行筛选并压缩，以便于数据信息的存储。

技术领域

本发明涉及信息技术领域，具体是一种基于大数据平台的数据处理系统。

背景技术

随着互联网的发展，网络中的数据信息量呈现指数式增长，随之带来了海量数据信息，大数据平台上即存在大量数据信息，目前，人们一般通过数据筛选来提高收集和存储的相关数据信息的可用性，但是即使是筛选后的数据，其数据总量也十分庞大，从而使得数据信息不便于存储。

发明内容

本发明所要解决的技术问题是，提供一种基于大数据平台的数据处理系统，其可以将大数据平台的数据进行筛选并压缩，以便于数据信息的存储。

为解决上述技术问题，本发明提供的基于大数据平台的数据处理系统，它包括大数据平台、数据处理装置、数据管理服务器和数据发送装置，数据处理装置用于从大数据平台获取所需的数据信息并将数据信息传输至数据管理服务器，数据管理服务器用于对接收到的数据信息进行存储，数据发送装置用于在需要时将数据管理服务器上的数据信息向外发送；

所述的数据处理装置包括：

通讯模块，用于与大数据平台进行通讯；

数据筛选模块，用于对大数据平台的数据按所设定的筛选条件进行筛选；

图像数据提取模块，用于从数据筛选模块所筛选的数据中提取图像数据；

图像数据压缩模块，用于将图像数据提取模块所提取的图像数据进行压缩；

文档数据提取模块，用于从数据筛选模块所筛选的数据中提取文档数据；

文档数据压缩模块，用于将文档数据提取模块所提取的文档数据进行压缩；

音视频数据提取模块，用于从数据筛选模块所筛选的数据中提取音视频数据；

音视频数据压缩模块，用于将音视频数据提取模块所提取的音视频数据进行压缩；

数据传输模块，用于将压缩后的图像数据、文档数据和音视频数据传输至数据管理服务器。

作为优选，所述的数据管理服务器包括主服务器、第一子服务器和第二子服务器；

所述的主服务器包括：

第一输入接口模块，与数据传输模块相连接；

第一数据输入模块，与第一输入接口模块相连接，用于接收数据传输模块所发送的数据信息；

第一存储模块，用于对第一数据输入模块所接收的数据信息进行存储；

登录模块，用于供用户合法登录主服务器，以查询主服务器上存储的数据信息；

安全模块，用于检测非法登录主服务器的行为；

信息加密模块，用于对第一存储模块上存储的数据信息进行加密处理；

第一数据输出模块，用于将加密处理后的数据信息发送至第一子服务器；

第一输出接口模块，与第一数据输出模块相连接；

第一设置模块，用于为信息加密模块设置加密算法并为可以登录主服务器的合法用户进行授权；

第一控制模块，用于在安全模块检测到非法登录主服务器的行为发生时，控制信息加密模块对第一存储模块所存储的数据信息进行加密处理，并将加密处理后的数据信息通过第一数据输出模块发送至第一子服务器，同时将第一存储模块上所存储的数据信息清除；