[发明专利]一种基于Hadoop的煤矿数据管理系统

说明书

本发明公开了一种基于Hadoop的煤矿数据管理系统，包括设置在煤矿生产线上的办公数据采集模块和工业数据采集模块，办公数据采集模块通过第一IDI服务器数据连接至第一oracle服务器；工业数据采集模块通过第二IDI服务器分别数据连接至第一oracle服务器和Hadoop服务器；办公数据采集模块，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器发送至第一oracle服务器；工业数据采集模块，用于采集煤矿企业的工业系统数据，工业系统数据包括正常数据和异常数据，正常数据经第二IDI服务器发送至第一oracle服务器进行存储，异常数据经第二IDI服务器发送至Hadoop服务器。解决了现有技术中煤矿企业对于大量的异构数据无法进行合理管理的问题。

【技术领域】

本发明属于煤矿技术领域，具体涉及一种基于Hadoop的煤矿数据管理系统。

【背景技术】

近年来，随着煤矿企业对信息化建设认识的不断提高，各类信息系统在煤矿企业不断地进行建设。但由于种种问题和限制，近年来，煤炭行业信息化工作呈现投资巨大、标准缺失、效率不高的现象，数据“黑洞”、“孤岛”等问题越来越严重。特别是在当前在大数据时代，煤矿企业各个专业应用业务系统在数据存储、数据处理、数据管理等方面都存在不少问题。特别是业务系统的后端数据库通常为关系型数据库，其数据存储能力、支持用户的并发访问能力有限，相应的数据关系与数据结构无法进行有效的扩展；煤矿现有的数据存储模型和业务处理系统只针对结构化数据进行设计，对大量的异构数据(文本数据、图片数据、视频数据)无法进行合理的计算与分析；系统在业务流程处理上没有进行高性能“并行计算”设计，CPU、存储器等资源也没有进行合理的分配与调度。

【发明内容】

本发明的目的是提供一种基于Hadoop的煤矿数据管理系统，以解决现有技术中煤矿企业对于大量的异构数据无法进行合理管理的问题。

本发明采用以下技术方案：一种基于Hadoop的煤矿数据管理系统，包括设置在煤矿生产线上的办公数据采集模块和工业数据采集模块，办公数据采集模块通过第一IDI服务器数据连接至第一oracle服务器；

工业数据采集模块通过第二IDI服务器分别数据连接至第一oracle服务器和Hadoop服务器；

办公数据采集模块，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器发送至第一oracle服务器；

工业数据采集模块，用于采集煤矿企业的工业系统数据，工业系统数据包括正常数据和异常数据，正常数据经第二IDI服务器发送至第一oracle服务器进行存储，异常数据经第二IDI服务器发送至Hadoop服务器。

进一步的，第一oracle服务器连接有第二oracle服务器。

进一步的，第一oracle服务器与Hadoop服务器连接。

进一步的，办公数据采集模块包括若干个PC主机。

进一步的，工业数据采集模块包括若干个传感器。

与现有技术相比，本发明至少具有以下有益效果：采用基于Hadoop的分布式系统框架，建设煤矿大数据采集存储平台，将煤矿财务、物资供应、煤炭营销、人力资源、安全生产、绩效考核等主题数据，从源系统中经过提取、转换、加载形成煤矿的数据池，通过Hadoop技术进行分布式进行永久存储。

【附图说明】

图1为本发明一种基于Hadoop的煤矿数据管理系统的布局结构示意图。

其中：1.办公数据采集模块，2.工业数据采集模块，3.第一IDI服务器，4.第二IDI服务器，5.第一oracle服务器，6.Hadoop服务器，7.第二oracle服务器。

【具体实施方式】