[发明专利]数据处理方法和装置、电子设备和存储介质

说明书

本公开涉及一种数据处理方法和装置、电子设备和存储介质，所述方法包括：将输入数据输入至神经网络模型中，获取神经网络模型中网络层当前输出的特征数据；根据神经网络模型的变换参数，确定与特征数据相匹配的归一化方式，其中，变换参数用于调整特征数据的统计量的统计范围，统计范围用于表征归一化方式；根据确定的归一化方式对特征数据进行归一化处理，得到归一化后的特征数据。本公开实施例可实现在没有人为干预的情况下为神经网络模型的每个归一化层自主学习出相匹配的归一化方式的目的。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种数据处理方法和装置、电子设备和存储介质。

背景技术

在自然语言处理、语音识别、计算机视觉等具有挑战性的任务中，各种归一化技术成为深度学习必不可少的模块。其中，归一化技术指的是对神经网络中的输入数据进行归一化处理，使数据变为均值为0，标准差为1的分布或者是范围在0—1的分布，以使神经网络更易于收敛。相关技术中，需要针对特定任务或特定模型人为设计具体的归一化方式，这就使得神经网络的归一化方式适应性较差。

发明内容

本公开提出了一种数据处理方法和装置、电子设备和存储介质，可以在没有人为干预的情况下为神经网络模型的每个归一化层自主学习出相匹配的归一化方式的目的。

根据本公开的一方面，提供了一种数据处理方法，包括：

将输入数据输入至神经网络模型中，获取所述神经网络模型中网络层当前输出的特征数据；

根据所述神经网络模型的变换参数，确定与所述特征数据相匹配的归一化方式，其中，所述变换参数用于调整所述特征数据的统计量的统计范围，所述统计范围用于表征归一化方式；

根据确定的所述归一化方式对所述特征数据进行归一化处理，得到归一化后的特征数据。

在一种可能的实现方式中，还包括：

基于所述神经网络模型中设置的可学习的门控参数，获取相应的多个子矩阵；

对多个所述子矩阵进行内积运算，得到所述变换参数。

在一种可能的实现方式中，基于所述神经网络模型中设置的可学习的门控参数，获取相应的多个子矩阵，包括：

采用符号函数对所述门控参数进行处理，得到二值化向量；

采用置换矩阵将所述二值化向量中的元素置换产生二值化门控向量；

基于所述二值化门控向量、第一基础矩阵和第二基础矩阵，得到多个所述子矩阵。

在一种可能的实现方式中，所述变换参数包括第一变换参数、第二变换参数、第三变换参数和第四变换参数；

所述第一变换参数的维度和所述第三变换参数的维度基于所述特征数据的批尺寸维度，所述第二变换参数的维度和所述第四变换参数的维度基于所述特征数据的通道维度；

其中，所述批尺寸维度为所述特征数据所在的数据批次内的数据数量，所述通道维度为所述特征数据的通道数。

在一种可能的实现方式中，所述根据所述神经网络中的变换参数，确定与所述特征数据相匹配的归一化方式，包括：

确定所述特征数据的统计量的统计范围为第一范围，其中，所述统计量包括均值和标准差；

根据所述第一变换参数和所述第二变换参数，将所述均值的统计范围由所述第一范围调整至第二范围；

根据所述第三变换参数和所述第四变换参数，将所述标准差的统计范围由所述第一范围调整至第三范围；

基于所述第二范围和所述第三范围，确定所述归一化方式。