[发明专利]一种海量燃气数据的压缩方法

说明书

技术领域

本发明涉及一种数据压缩方法，尤其是一种用于对海量的燃气数据进行压缩的方法。

背景技术

随着自动化技术的不断发展，相关的技术和产品为燃气管网和设备运行状态信息的监管建立提供了坚实的技术基础。燃气信息监管系统包括燃气数据的采集、反馈、存储和分析。数据的采集包括管网及燃气设备运行的工作压力、流量以及针对特殊用户的安全报警等信号的采集，通过通讯手段将数据反馈回数据中心，帮助管理人员及时、准确地了解运行情况。城市燃气管网、调压站、用户燃气表具等监管系统中每天都产生海量的过程数据，在监控过程中长期积累的数据是燃气企业宝贵的资源，为诊断和处理故障提供了第一手资料；同时，可以通过对不同时间段的历史数据进行分析，模拟出整个管网运行的变化规律，为管网的优化提供直观而且准确的数据依据。因此，普遍存在着存储和利用这些海量生产数据的应用需求，但保存历史数据存在一定的困难：由于监控数据点数量巨大，需要保存的历史数据十分可观，若不经压缩直接存储，将需要很多的存储介质。因此，研究的历史数据的压缩方法显得很重要。通常采用的旋转门趋势分析(Swinging Door Trend，SDT)算法是目前过程工业中数据压缩最为流行的算法，国外著名的实时数据库OSI公司的PI、GE公司Proficy Historian以及爱康诺(ICONICS)公司的Hyper Historian等数据库都是采用SDT(“旋转门”压缩)技术，中国的实时数据库厂商基本上也是基于SDT技术进行拓展。

发明内容

本发明要解决的技术问题是由于监控数据点数量巨大，而现有的压缩方法失容差性差、真率较高，在数据解压后不能有效地反映实际数据情况。

为了解决上述技术问题，本发明提供了一种海量燃气数据的压缩方法，包括如下步骤：

步骤1，根据燃气使用时间段实时设定最大时间间隔参数T_max、压缩偏移量的调整幅度参数η、压缩容差ΔE、偏差容差参数μ、期望误差δs以及死区阈值ε，其中，死区阈值ε＝μ·δs，压缩容差ΔE＝ΔE_max-ΔE_min，ΔE_max和ΔE_min分别为压缩容差ΔE的上限和下限；

步骤2，按时间先后顺序读取燃气数据采集序列中的一个数据点y_k(0<k≤n)，并计算数据点y_k与前一数据点y_k-1的记录时间间隔Δt，若Δt＜T_max，则进入步骤4，若Δt≥T_max，则进入步骤3；

步骤3，直接存储前一数据点，并将k加1，再返回步骤2；

步骤4，计算“旋转门”转动到数据点y_k状态时的上扇门斜率和下扇门斜率，并将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，若此时数据点y_k状态时的上扇门斜率≤数据点y_k状态时的下扇门斜率，则存储前一数据点y_k-1，同时结束本次“旋转门”的数据压缩，并将前一数据点y_k-1作为下一“旋转门”数据压缩的起始点，再进入步骤5，若此时本次数据点状态时的上扇门斜率＞本次数据点状态时的下扇门斜率，则直接进入步骤5；

步骤5，判断当前燃气数据采集序列中的数据是否压缩完毕，若压缩完毕，则进入步骤6，若未压缩完毕，则将k加1后返回步骤2；

步骤6，对压缩后的数据进行数据解压，并采用线性插值法恢复没有存储的数据点，根据解压后的数据以及原始数据y₁，…，y_n计算最大误差以及平均误差若δ_max≥δs，则存储δ_max所对应的原始数据，再根据偏差e＝δs-δ进行调整：

1)若|e|＜ε，表明偏差在允许范围内，则不对ΔE作调整，并进入步骤7；

2)若e≥ε，表明平均误差δ偏小，ΔE设置偏低，会导致压缩比CR偏低，则进入步骤1对压缩偏移量ΔE在ΔE_max限定范围内作增大调整ΔE＝ΔE+η·e/ε，若ΔE＞ΔE_max，则ΔE＝ΔE_max；