[发明专利]一种将分布式控制系统数据采集至Hadoop平台的实现方法

说明书

本发明公开了一种将分布式控制系统数据采集至Hadoop平台的实现方法，首先采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，从DCS采集多个变量数据；在关系型数据库中按日期建立多个分区表，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中。该方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储。

技术领域

本发明涉及分布式控制系统技术领域，尤其涉及一种将分布式控制系统数据采集至Hadoop平台的实现方法。

背景技术

目前，制造业生产现场均使用DCS(Distributed Control System，分布式控制系统)对现场仪器仪表、执行器、生产设备等进行数据集成，实现对生产过程的分散控制集中管理。DCS秒级采集、产生并存储着大量生产过程数据，是获取生产过程数据的重要系统；Hadoop是Apache基金会开发的分布式数据存储与计算框架，基于Hadoop框架部署的平台，可实现对海量数据的分布式存储与计算。企业部署Hadoop平台一般是企业开展大数据业务的标志，Hadoop大数据平台已经广泛应用于金融、医疗、电商等行业，但几乎没有用于制造业的生产过程领域，以致制造业生产过程的大数据分析技术应用不足。

分布式控制系统DCS带有OPC(OLE for Process Control，用于过程控制的OLE)、ModbusTCP/IP、Profinet等工业通讯协议，可以对外系统数据集成接口，目前一些工业数据采集软件可以通过工业通讯协议连接至DCS采集数据，但仅能做协议转换，即将数据转发给支持其他种类工业通讯协议的系统，或转存至关系型数据库，但无法将数据传输给Hadoop平台。由于Hadoop平台是套IT解决方案，不支持工业通讯协议，目前没有较好的手段能将DCS中的各类生产数据直接采集并存储于Hadoop平台，这直接制约了制造业生产过程的大数据分析技术与应用的发展，因此将DCS数据采集至Hadoop平台具有重要的意义。

发明内容

本发明的目的是提供一种将分布式控制系统数据采集至Hadoop平台的实现方法，该方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储，从而解决Hadoop平台无法获取DCS数据的问题。

本发明的目的是通过以下技术方案实现的：

一种将分布式控制系统数据采集至Hadoop平台的实现方法，所述方法包括：

步骤1、采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，按数据采集粒度要求从所述DCS采集多个变量数据；

步骤2、在关系型数据库中按日期建立多个分区表，通过开放数据库连接ODBC连接所述DCS数据采集软件与所述关系型数据库，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；

步骤3、在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中。

由上述本发明提供的技术方案可以看出，上述方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储，从而解决Hadoop平台无法获取DCS数据的问题，为基于Hadoop平台做工业大数据分析做准备。

附图说明