[发明专利]基于遗传算法优化稀疏自编码器的数据压缩方法及装置

说明书

本发明提供了一种基于遗传算法优化稀疏自编码器的数据压缩方法与装置，涉及数据处理技术领域。包括：确定稀疏自编码器的网络拓扑结构，初始化稀疏自编码器网络，获得稀疏自编码器网络的初始权值和初始阈值；通过改进遗传算法对稀疏自编码器网络的初始权值和初始阈值进行优化；对未压缩的数据进行归一化处理和数据矫正，获得新的未压缩数据；将新的未压缩数据输入改进的稀疏自编码器网络，将隐含层的输出数据作为压缩后的数据；将压缩后的数据通过算数编码进行无损压缩，获得新的压缩后数据。有效地对样本数据进行降维，稀疏自编码器的多层网络结构使稀疏自编码器具有强大的非线性特征映射能力，无需输入数据具备标签，提高了压缩算法的适用范围。

技术领域

本发明涉及数据处理技术领域，特别是指一种基于遗传算法优化稀疏自编码器的数据压缩方法及装置。

背景技术

在一个覆盖多个数据源的复杂网络系统中，通过无线传感网络传输到数据中心的数据具有规模海量和种类繁多的特点，从海量传感数据中学习数据复杂的内在特征，去除数据中的冗余信息，获得原始数据的降维表示，进而实现数据的压缩表示变得越来越重要。目前通过神经网络进行数据压缩是利用浅层神经网络模型来实现的，利用浅层神经网络模型进行数据压缩存在网络非线性映射能力差、收敛速度慢以及高度依赖标签数据的不足。

发明内容

针对现有技术中浅层神经网络模型进行数据压缩存在网络非线性映射能力差、收敛速度慢以及高度依赖标签数据的不足的问题，本发明提出了一种基于遗传算法优化稀疏自编码器的数据压缩方法及装置。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种基于遗传算法优化稀疏自编码器的数据压缩方法，该方法应用于电子设备，包括以下步骤：

S1：确定稀疏自编码器的网络拓扑结构，初始化稀疏自编码器网络，获得稀疏自编码器网络的初始权值和初始阈值；

S2：通过改进遗传算法对稀疏自编码器网络的初始权值和初始阈值进行优化，获得稀疏自编码器网络的最优权值、最优阈值以及改进的稀疏自编码器网络；

S3：对未压缩的数据进行归一化处理和数据矫正，获得新的未压缩数据；

S4：将新的未压缩数据输入改进的稀疏自编码器网络，将隐含层的输出数据作为压缩后的数据；

S5：将压缩后的数据通过算数编码进行无损压缩，获得新的压缩后数据，完成传感数据压缩。

可选地，步骤S1中，确定稀疏自编码器的网络拓扑结构，包括：

确定稀疏自编码器网络的输入节点数、输出节点数、隐含层层数以及隐含层节点数；

其中，输入节点数和输出节点数相同，由输入数据的特征维数确定；隐含层层数设置为1；根据下述公式(1)确定隐含层节点数：

其中，h表示网络隐含层节点个数，m表示网络输入节点个数，n表示网络输出节点个数，a为1-10之间的任意一个整数。

可选地，步骤S2中，通过改进遗传算法对稀疏自编码器网络的初始权值和初始阈值进行优化，获得稀疏自编码器网络的最优权值、最优阈值以及改进的稀疏自编码器网络，包括：

S21：通过改进的遗传算法对稀疏自编码器网络的初始权值和初始阈值进行编码，得到初始种群；其中，将所有初始权值和初始阈值的编码连接起来即为一个个体的编码；

S22：计算种群中每个个体的适应度值，其中，训练集与测试集数据的均方误差平均值为改进遗传算法的适应度函数，适应度函数可以写为：

其中，N是训练集和测试集总样本数，M是训练集样本数，为稀疏自编码器网络的预测输出，y_i为稀疏自编码器网络的期望输出；