[发明专利]一种DCS系统数据的处理上传方法、系统及存储介质

说明书

本申请提供了一种DCS系统数据的处理上传方法、系统及存储介质。属于DCS数据采集和大数据处理技术领域，方法包括：与DCS系统进行链接并接收多个指定点位数据，将指定点位数据推送到待处理队列表，并根据数据过滤模型按照预设过滤条件进行清洗过滤和修正，推送至待压缩队列表，根据压缩维度将待压缩数据进行点位压缩获得点位压缩数据包并标识，将点位压缩数据包发送到持久化数据库中进行暂存并按照暂存队列表进行上传到IOT平台，上传成功后根据反馈信息对持久化数据库进行更新；从而对指定点位数据进行整理、过滤清洗、压缩和上传，实现对数据的排序、过滤筛查、压缩减积以及断线再传技术，减小IOT上报通道的压力。

技术领域

本申请涉及DCS数据采集和大数据处理技术领域，具体而言，涉及一种DCS系统数据的处理上传方法、系统及存储介质。

背景技术

DCS（集散控制系统简称）通常采用若干个控制器对一个生产过程中的众多控制点进行控制，各控制器间通过网络连接并可进行数据交换，生产控制操作采用计算机操作站，通过网络与控制器连接，收集生产数据，传达操作指令。DCS控制的点是指DCS系统接收、处理及输出的所有信号，这个点是输入输出点，也就是采集或控制、通讯点，分为AI、AO、DI、D、OPI以及其他系统的通讯点，OPC（Open Platform Communications）是一组软件技术，为控制各种设备和交换数据提供单一、统一的接口，OPC DA的数据访问标准是最常见的标准，它描述了一组与PLC、DCS、HMI、CNC和其他设备进行实时数据交换的功能，OPC DA服务器在客户端程序和终端设备之间提供数据交换（写入和读取）。OPC DA所采集的的数据是具有某些属性的标签变量，变量可以是OLE中允许的任何类型，包括各种整数和实数类型、布尔值、字符串、日期、数组等。

在通过OPC DA对DCS系统进行数据采集时，因为数据量十分巨大，短时并发量巨大，导致在实际的对接中时长会出现以下问题：单个点位定频上报的数据无法过滤，导致IOT平台接口承担巨大的并发和拥挤；当与DCS断开连接后，无法获取到未接收到的数据，需重新获取；当与IOT平台进行数据上传时，上传中断或失败的数据无法列队重传。

针对上述问题，目前亟待有效的技术解决方案。

发明内容

本申请实施例的目的在于提供一种DCS系统数据的处理上传方法、系统及存储介质，可以对指定点位数据进行整理、过滤清洗、压缩和上传，实现对数据的排序、过滤筛查、压缩减积以及断线再传，对数据的有效过滤减小IOT上报通道的压力，缓存未上报数据，以及对未采集到的数据进行断线重传。

本申请实施例还提供了一种DCS系统数据的处理上传方法，包括以下步骤：

通过OPC DA协议与DCS系统进行链接，并向DCS系统获取指定点位，并接收到DCS系统推送的多个指定点位数据；

将所述指定点位数据进行提取并推送到待处理队列表并整理；

通过预设的数据处理容器从所述待处理队列表中对所述指定点位数据进行提取，并根据数据过滤模型按照预设过滤条件进行清洗过滤；

将完成清洗过滤的指定点位数据进行修正，并推送至待压缩队列表；

根据压缩维度将所述待压缩队列表中的待压缩数据进行点位压缩获得点位压缩数据包；

对压缩完成的所述点位压缩数据包进行标识，并将所述点位压缩数据包发送到持久化数据库中进行暂存，获得暂存队列表；

按照所述暂存队列表对所述持久化数据库中的点位压缩数据包进行上传到IOT平台，上传成功后根据IOT平台的反馈信息对所述持久化数据库进行实时更新，并对未完成上传的点位压缩数据包继续进行上传。

可选地，在本申请实施例所述的DCS系统数据的处理上传方法中，所述将所述指定点位数据进行提取并推送到待处理队列表并整理，包括：