[发明专利]一种神经网络模型的剪枝方法及装置

权利要求书

1.一种神经网络模型的剪枝方法，其特征在于，包括：

基于文本样本数据对待训练神经网络模型进行训练，所述待训练神经网络模型为待训练翻译模型，所述待训练神经网络模型中包括至少一个目标隐藏层和每个目标隐藏层对应连接的筛选组件，每个筛选组件根据通过率对连接的目标隐藏层输出的数据特征进行筛选并输出，每个筛选组件中包括多个门，每个筛选组件中门的数量与筛选组件连接的目标隐藏层输出的数据特征的数量对应，每个筛选组件的通过率是根据筛选组件中处于打开状态的门的数量确定的；

在训练过程中根据目标损失函数调整所述待训练神经网络模型的模型参数和各个筛选组件的通过率，并当训练结果达到目标损失时获得已训练神经网络模型；

根据已训练神经网络模型中各个筛选组件的通过率，优先对通过率低的筛选组件连接的目标隐藏层进行剪枝处理。

2.如权利要求1所述的方法，其特征在于，所述目标损失函数包括所述待训练神经网络模型中各个筛选组件的通过率。

3.如权利要求1所述的方法，其特征在于，所述根据已训练神经网络模型中各个筛选组件的通过率，优先对通过率低的筛选组件连接的目标隐藏层进行剪枝处理，包括：

按照通过率从小到大的顺序对所述已训练神经网络模型中各个筛选组件进行排序，其中，筛选组件的通过率越大，筛选组件连接的目标隐藏层在所述已训练神经网络模型中的影响程度越大；

从所述已训练神经网络模型中删除排在前N位的筛选组件连接的目标隐藏层，N为预设正整数。

4.如权利要求1所述的方法，其特征在于，所述根据已训练神经网络模型中各个筛选组件的通过率，优先对通过率低的筛选组件连接的目标隐藏层进行剪枝处理，包括：

确定所述已训练神经网络模型的各个筛选组件中，通过率小于预设阈值的目标筛选组件；

将所述已训练神经网络模型中的目标筛选组件的通过率置为零。

5.如权利要求1所述的方法，其特征在于，还包括：

生成所述各个筛选组件的通过率的展示页面并显示。

6.如权利要求1至5任一所述的方法，其特征在于，所述待训练翻译模型包括编码器和解码器，所述编码器中每个隐藏层对应一个筛选组件，所述解码器中每个隐藏层对应一个筛选组件。

7.如权利要求1至5任一所述的方法，其特征在于，所述待训练翻译模型包括多个编码器和多个解码器，每个编码器对应一个筛选组件，每个解码器对应一个筛选组件。

8.一种智能翻译方法，其特征在于，包括：

采用翻译模型对待翻译语句进行处理，获得所述待翻译语句的翻译结果，所述翻译模型为采用权利要求1至7任一所述的方法剪枝后获得的模型。

9.一种神经网络模型的剪枝装置，其特征在于，包括：

训练模块，用于基于文本样本数据对待训练神经网络模型进行训练，所述待训练神经网络模型为待训练翻译模型，所述待训练神经网络模型中包括至少一个目标隐藏层和每个目标隐藏层对应连接的筛选组件，每个筛选组件根据通过率对连接的目标隐藏层输出的数据特征进行筛选并输出，每个筛选组件中包括多个门，每个筛选组件中门的数量与筛选组件连接的目标隐藏层输出的数据特征的数量对应，每个筛选组件的通过率是根据筛选组件中处于打开状态的门的数量确定的；

处理模块，用于在训练过程中根据目标损失函数调整所述待训练神经网络模型的模型参数和各个筛选组件的通过率，并当训练结果达到目标损失时获得已训练神经网络模型；

剪枝模块，用于根据已训练神经网络模型中各个筛选组件的通过率，优先对通过率低的筛选组件连接的目标隐藏层进行剪枝处理。