[发明专利]一种面向边缘计算的压缩数据传输方法

说明书

本发明为一种面向边缘计算的压缩数据传输方法，在边缘缓存节点处，收集原始数据，对每一位原始数据进行特征重构，构建数据特征压缩摘要，并分别存放在多个数组中，得到新的特征向量，应用编码解码神经网络构造压缩编码机制，通过编码对新的特征向量进行可分类压缩，之后对完成可分类压缩的数据在中间节点处分类转发给边缘设备处理。本发明通过对数据进行可分类压缩，有效减小数据传输和处理规模，减少移动边缘网络节点的资源消耗，并满足了边缘计算场景下中间节点对压缩数据直接进行处理的需求，为高速精准数据传输服务提供基础。

技术领域

本发明属于工业自动化和云计算技术领域，涉及数据处理及传输，尤其是在多台边缘节点数据压缩传输，为一种面向边缘计算的压缩数据传输方法。

背景技术

目前，数据传输中普遍存在着数据压缩方法的使用。各种数据压缩算法被设计用于压缩文本、图像、视频、音频和其他类型数据。通过数据压缩，可以减少数据的大小，从而节省数据存储空间或缩短数据在无线网络中的传输时间。

边缘计算兴起后，网络边缘产生海量的数据，数据的高效率传输和边缘节点上的可处理性十分重要。边缘网络中基于小波的数据压缩研究目前已有一些基础性的工作。例如，针对单个传感器节点产生的时间序列信号RACE设计出的一种压缩位率自适应的Haar小波压缩算法、基于5/3小波提升方案和Haar小波的分布式压缩算法。第一种算法通过阈值来选择重要的小波系数从而调整压缩位率，此算法在单个节点内运行，通过挖掘时间相关性减少冗余数据的传输但没有考虑邻近节点间数据的空间相关性和冗余数据问题，第二种和第三种算法通过在邻近的节点间交换信息，在数据传送到汇聚节点前分布式挖掘网络中数据的空间相关性，极大地减少了冗余数据的传输。然而已有的分布式算法往往采用的是结构较为简单的小波算法且缺乏兼容性，数据压缩完成后传输到相关节点无法直接进行过滤和分析，不能支撑实时地完成相关数据处理操作；其次，引入数据压缩机制后会导致精确率下降，以精度换取效率的方法值得进一步改善。

因此，在边缘网络节点收集和传输数据的过程中，需要减小数据传输的开销并优化传输效率，同时改善引入压缩机制后导致精确率下降的现状。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向边缘计算的压缩数据传输方法，通过对数据进行可分类压缩，有效减小数据传输和处理规模，减少移动边缘网络节点的资源消耗，并满足了边缘计算场景下中间节点对压缩数据直接进行处理的需求，为高速精准数据传输服务提供基础。

为了实现上述目的，本发明采用的技术方案是：

一种面向边缘计算的压缩数据传输方法，包括：

步骤1，在边缘缓存节点处，收集原始数据，设置大小为k的数组1，k为原始数据的类别也即特征属性的数量，数组1的每一位对应记录一类原始数据，记录内容包括原始数据的特征属性及其数值；

步骤2，对数组1中的每一位原始数据进行特征重构，构建数据特征压缩摘要，并将所得k个数据特征压缩摘要分别存放在数组2～数组k+1中，得到k个新的特征向量；

步骤3，应用编码解码神经网络构造压缩编码机制，通过编码对k个新的特征向量进行可分类压缩；

步骤4，对完成可分类压缩的数据在中间节点处分类转发给边缘设备处理。

与现有技术相比，本发明在边缘网络节点收集和传输数据的过程中，使用数据压缩方法，为数据传输减小开销并优化传输效率，针对引入压缩机制后导致精确率下降的问题，将特征重构应用于编码解码神经网络，压缩后完整地保留了关键特征信息，降低了编码解码神经网络压缩数据时出现的信息损失对数据分类的干扰。

附图说明

图1是本发明流程图。

图2是本发明实施例的具体压缩传输过程示意图。

图3是不同数据集下运行的准确率比较示意图。