[发明专利]一种DNN模型训练方法及装置

权利要求书

1.一种DNN模型训练方法，其特征在于，包括：

获取第一数据集和第二数据集，分别对所述第一数据集和所述第二数据集中的维度向量进行统一的维度扩充；

设置DNN模型的结构参数，并初始化第一数据集中各层级的线性关系系数矩阵W_L和偏倚向量b_L；

使用上述第二层级对应的线性关系系数矩阵W_L和偏倚向量b_L分别对第一数据集和第二数据集中的数据转换；

将第一数据集与第二数据集中的数据转换后叠加，遍历其中各元素执行前向传播计算输出第二层级中各神经元结果；

基于第二层级中各神经元结果执行前向传播计算后对应输出第三层级至第L层级中各神经元结果；

通过损失函数及反向传播函数分别对第二层级至第L层级中各神经元结果进行遍历计算，并在当次迭代相较于上次迭代中的各层级线性关系系数矩阵W_L和偏倚向量b_L的变化量均小于停止迭代阈值时对应输出，否则返回数据转换步骤重新执行迭代计算，直至迭代次数大于最大迭代次数时结束。

2.根据权利要求1所述的DNN模型训练方法，其特征在于，分别对所述第一数据集和所述第二数据集中的维度向量进行统一的维度扩充的方法包括：

所述第一数据集包括m个维度的K个元素，所述第二数据集包括n个维度的K个元素；

将所述第一数据集和所述第二数据集的元素维度扩充为m+n个维度，元素中扩充的维度通过补零表示。

3.根据权利要求2所述的DNN模型训练方法，其特征在于，所述结构参数包括模型层数L、激活函数F、损失函数LOSS、迭代步长α，β、最大迭代次数MAX和停止迭代阈值e，其中，所述模型层数L包括输入层、输出层和L-2个隐藏层，所述输入层的神经元个数为m+n。

4.根据权利要求3所述的DNN模型训练方法，其特征在于，使用上述第二层级对应的线性关系系数矩阵W_L和偏倚向量b_L分别对第一数据集和第二数据集中的数据转换的方法包括：

第一数据集的数据转换公式为C_i＝W_L²*X_i+b_L²，第二数据集的数据转换公式为C′_i＝W_L²*X′_i，所述L在第二层级中取值2；

其中，X_i表述第一数据集中{X₁,X₂,…,X_k}中的K个元素，且每个元素为m+n维向量，X′_i表述第二数据集中{X′₁,X′₂,…,X′_k}中的K个元素，且每个元素为m+n维向量。

5.根据权利要求4所述的DNN模型训练方法，其特征在于，将第一数据集与第二数据集中的数据转换后叠加，遍历其中各元素执行前向传播计算输出第二层级中各神经元结果的方法包括:

采用公式Zⁱ＝C_i+C′_i对第一数据集与第二数据集中的转换数据进行叠加计算；

采用公式a^i,j＝F(Z^i，j)遍历各元素执行前向传播计算，输出第二层级中各神经元结果，所述Z^i，j＝W^j*a^i,j-1+b_j，其中，i∈(1,K)，j∈(2,L)，且所述j在第二层级中取值为2。