[发明专利]基于神经网络的信息处理方法和装置

说明书

本公开涉及计算机数据处理领域。本公开的实施例公开了基于神经网络的信息处理方法和装置、电子设备和计算机可读介质。该基于神经网络的信息处理方法包括：获取输入信息；基于输入信息，采用元神经网络预测参数存储器中的各参数的概率分布，其中，参数存储器是预先基于主神经网络的全连接层构建的；基于参数存储器中的各参数的概率分布，确定主神经网络的全连接层关于输入信息的参数组合模式；基于全连接层关于输入信息的参数组合模式，更新主神经网络的全连接层，并基于更新全连接层之后的主神经网络对输入信息进行处理，得到所与输入信息对应的输出信息。该方法实现了基于输入信息的主神经网络的参数的自动动态调整。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及计算机数据处理技术领域，尤其涉及基于神经网络的信息处理方法和装置。

背景技术

复杂决策系统的目标通常需要由多个策略来完成。神经网络可以用于对复杂决策系统建模来表达其中各子系统之间的非线性关系。但是，复杂决策系统通常包含多种不同的策略，如果只使用一个具有固定参数的神经网络建模，无法在同一个网络中学习得到多种不同的参数组合方式。也即，复杂决策系统的输入通常是变化的，使用同一个神经网络无法实现不同输入的情况下的策略调整。

目前的方案是使用混合专家网络(Mixture of Expert，MOE)，设置不同的专家网络对不同的策略建模，然后使用同一个门控矩阵从不同的专家网络中进行选择。

发明内容

本公开的实施例提出了基于神经网络的信息处理方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种基于神经网络的信息处理方法，包括：获取输入信息；基于输入信息，采用元神经网络预测参数存储器中的各参数的概率分布，其中，参数存储器是预先基于主神经网络的全连接层构建的；基于参数存储器中的各参数的概率分布，确定主神经网络的全连接层关于输入信息的参数组合模式；基于全连接层关于输入信息的参数组合模式，更新主神经网络的全连接层，并基于更新全连接层之后的主神经网络对输入信息进行处理，得到所与输入信息对应的输出信息。

在一些实施例中，上述方法还包括：利用主神经网络的特征提取层对输入信息进行特征提取，得到输入信息的抽象表示；以及上述基于输入信息，采用元神经网络预测参数存储器中的各参数的概率分布，包括：基于输入信息的抽象表示，采用元神经网络预测参数存储器中的各参数的概率分布；上述基于更新全连接层之后的主神经网络对输入信息进行处理，包括：基于更新后的全连接层对输入信息的抽象表示进行处理。

在一些实施例中，上述基于输入信息的抽象表示，采用元神经网络预测参数存储器中的各参数的概率分布，包括：将输入信息的抽象表示作为元神经网络的动态参数，利用包含动态参数的元神经网络预测参数存储器中的各参数的概率分布。

在一些实施例中，上述基于参数存储器中的各参数的概率分布，确定主神经网络的全连接层关于输入信息的参数组合模式，包括：将概率分布中的概率值作为全连接层中的对应参数所表征的权重系数，基于权重系数对主神经网络的全连接层的上一层的各节点进行加权求和之后做非线性变换，得到主神经网络的全连接层关于输入信息的参数组合模式。

在一些实施例中，上述主神经网络是基于与输入信息同类型的样本信息预先训练得到的。

第二方面，本公开的实施例提供了一种基于神经网络的信息处理装置，包括：获取单元，被配置为获取输入信息；预测单元，被配置为基于输入信息，采用元神经网络预测参数存储器中的各参数的概率分布，其中，参数存储器是预先基于主神经网络的全连接层构建的；确定单元，被配置为基于参数存储器中的各参数的概率分布，确定主神经网络的全连接层关于输入信息的参数组合模式；处理单元，被配置为基于全连接层关于输入信息的参数组合模式，更新主神经网络的全连接层，并基于更新全连接层之后的主神经网络对输入信息进行处理，得到所与输入信息对应的输出信息。