[发明专利]一种分布式模型预测方法

说明书

本发明公开了一种分布式模型预测方法，通过构建不同神经元分布的局部模型，并采用分布不同的数据训练构建的局部模型；采用联合概率神经匹配对不同的局部模型的相似神经元进行匹配，采用惩罚函数筛选神经元；根据筛选后的神经元构建全局模型，确定全局模型神经元的参数；采用预设的训练集，利用贝叶斯深度学习完成全局模型的参数分布的估计；根据参数分布的估计完成全局模型的预测过程。对全局模型的参数采用概率分布来估计，提高参数的稳定性，从而提高模型训练的收敛速度，提高模型预测速度。

技术领域

本发明涉及人工智能领域，尤其涉及一种分布式模型预测方法。

背景技术

分布式模型在环境保护、用户定位、智能交通、智慧城市等领域有广泛的应用。分布式模型以分布式的方法训练预测器，现有的分布式模型的训练方法就是通过局部模型进行训练之后，对局部模型进行集成学习后作为全局模型的参数，但是现有技术采用这种方法训练模型，在模型迭代过程中，由于输入数据有随机性和受到噪音干扰，导致模型所训练出来的参数质量不高，这样在迭代过程中采用集成学习来实现参数的汇总，就很可能导致全局模型参数存在的“不稳定”现象，从而降低全局参数的收敛速度。

发明内容

本发明提出一种分布式模型预测方法，对全局模型的参数采用概率分布来估计，提高参数的稳定性，从而提高模型训练的收敛速度，提高模型预测速度。

本发明实施例提供一种分布式模型预测方法，所述方法包括：

构建不同神经元分布的局部模型，并采用分布不同的数据训练构建的局部模型；

采用联合概率神经匹配对不同的局部模型的相似神经元进行匹配，采用惩罚函数筛选神经元；

根据筛选后的神经元构建全局模型，确定全局模型神经元的参数；

采用预设的训练集，利用贝叶斯深度学习完成全局模型的参数分布的估计；

根据参数分布的估计完成全局模型的预测过程。

优选地，所述构建不同神经元分布的局部模型，并采用分布不同的数据训练构建的局部模型，具体为：

基于全连接神经网络构建不同局部模型，根据神经网络的权重空间对称的特性，不同的局部模型的输出值为

采用联邦学习的方法，根据边缘计算服务器节点获取的局部数据，以分布式的方式训练不同的局部模型；

其中，x为局部模型的输入值，W′₁是局部模型的输入层到隐含层的权重，W′₂为局部模型的隐含层到输出层的权重，∏为L×L的矩阵，L是局部模型中神经网络的隐含层节点的数量，经过σ为预设的激活参数。

作为一种优选方案，所述采用联合概率神经匹配对不同的局部模型的相似神经元进行匹配，具体包括：

采用任意一个服务器的隐含层神经元到全局模型任意一个神经元的相似度最小的法则实现优化：

其中，j为局部模型的任意隐含层节点，l为全局模型的任意隐含层节点，i为全局模型的神经元，θ_i为全局模型的隐含层的权重，ω_jl为局部模型的隐含层的权重，c(ω_jl,θ_i)是全局模型和局部模型的相似度公式，是全局模型权重和局部模型权重之间的映射关系。

优选地，所述确定全局模型神经元的参数，具体包括：

根据筛选后的神经元确定全局模型输入层到隐含层的权重W₁和全局模型隐含层到输出的权重W₂；