[发明专利]基于随机计算理论的贝叶斯网络推理方法

说明书

本发明涉及推理方法，尤其是一种基于随机计算理论的贝叶斯网络推理方法。该方法简化了基于中心极限定理的高斯随机发生器的计算过程，简化了贝叶斯神经网络推理过程中的乘法运算，利用二项分布发生器得到的“0‑1”序列为数据单元，“与门”实现乘法运算操作，“0‑1”随机数序列直接参与计算，完成贝叶斯神经网络推理，从而达到了减少硬件资源、提高计算速度、降低系统功耗的目的。

技术领域

本发明涉及推理方法，尤其是一种基于随机计算理论的贝叶斯网络推理方法。

背景技术

近年来数据规模和计算能力的增长大大促进了人工智能发展，深度学习作为人工智能一个活跃分支，不断取得进步，目前工业界与学术界已经提出了很多高效的神经网络模型，不同于深度神经网络模型的确定权重值，贝叶斯神经网络参数通常符合固定的概率分布，假设权重ω符合均值为μ，方差为σ的高斯分布，在推理过程中，首先从标准正态分布中获取一个随机数h，然后利用正态分布的线型性，ω＝σh+μ获得最终权值，当所有权重和偏置采样完成，得到一个实例化的网络，并进行一次前向学习得到一个学习结果，多次计算取均值。

其中高斯随机数的产生是贝叶斯深度学习系统的重要部分，常用的方法为：首先生成均匀分布随机数或二项分布随机数，基于中心极限定理，得到标准正态分布的随机数，再进行相应的运算操作。在这个过程中，所有的数据均为数值型数据，运算采用传统的乘、加计算，会消耗大量的硬件资源，而且多个周期才能产生一个随机数，计算速度慢，系统功耗高，

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提出了一种基于随机计算理论的贝叶斯网络推理方法，可以让“0-1”序列直接参与计算，并用“与门”代替乘法操作，减少了大量的硬件资源，具有更高的计算速度和更低的系统功耗。

本发明的技术方案是：一种基于随机计算理论的贝叶斯网络推理方法，包括以下步骤：

将网络参数即均值μ∈R^M×N与标准方差σ∈R^M×N转换为k位长的“0-1”序列随机数；

给定新的输入向量x∈R^N，将其每个元素转换为长度为k的“0-1”序列随机数，分别计算输入数据的特征矩阵β与特征向量η，其中，i＝1,2,…M,j＝1,2,…N；计算过程中的乘法操作采用“与门”实现，加法操作采用直接统计“1”的个数；

存储输入数据的特征矩阵β与特征向量η；

产生符合二项分布的k位“0-1”序列，进行M×N次随机数采样，获取不确定性矩阵H∈R^M×N；

利用不确定性矩阵H、特征矩阵β以及特征向量η，通过下述公式完成贝叶斯深度神经网络前向传播过程中的矩阵向量乘运算，

z＝〈H,β〉_L

其中，〈H,B〉_L表示不确定性矩阵H与特征矩阵β按行进行内积计算，确定性矩阵H与特征矩阵β逐行用乘法计算后，再用加法计算，乘法采用“与门”实现,加法采用直接统计“1”的个数，其计算结果为z∈R^M，其中每一行为“1”的个数，y为矩阵向量乘运算结果；

重复上述步骤得到T个输出向量y₁,y₂,…,y_T，并获取最终输出

本发明中，通过下述公式分别计算特征矩阵β∈R^M×N与特征向量η∈R^M，

β^ij＝σ^ijx^j